I.3Извлечение и структурирование данных

Etheria-55b-v0.1 — плотная языковая модель семейства Llama, созданная слиянием моделей серии Etheria и моделей Yi-34B-200K. Автор объединил варианты VerA и VerB, затем применил метод DARE TIES; в метаданных указаны 55,1 млрд параметров и формат safetensors. Модель предназначена для генерации текста и диалогового общения; в README указана совместимость с форматами запросов ChatML и Alpaca. Для контекста заявлена теоретическая длина до 200 000 токенов, однако автор рекомендует начинать с 32 000 токенов, поскольку влияние слияния на работу с длинным контекстом не проверено. README сообщает о тестировании до 32 000 токенов через exl2 и приводит результаты нескольких оценок на Open LLM Leaderboard. Модель распространяется по лицензии Apache-2.0.

EVA-Qwen2.5-72B-v0.1-GGUF — это набор GGUF-квантизаций текстовой языковой модели EVA-Qwen2.5-72B-v0.1, опубликованный bartowski. Модель создана на базе Qwen2.5-72B-Instruct и предназначена для генерации текста, включая диалоговые сценарии, написание текстов и roleplay. В обучении исходной модели использовались наборы данных для инструкционного следования, структурированного письма, художественных диалогов и ролевых сценариев. Архитектура исходной модели — Qwen2.5 с 72 млрд параметров; модель работает с текстом и использует шаблон сообщений ChatML. README не содержит точных сведений о поддерживаемых языках и размере контекстного окна. Доступны варианты квантизации от IQ1_M и Q2 до Q8_0 размером примерно от 23,74 до 77,26 ГБ. Варианты Q5_K_M, Q6_K, Q4_K_M и другие обеспечивают компромисс между качеством и требованиями к памяти; низкобитные варианты экономичнее, но заметно уступают в качестве. Модель можно запускать через llama.cpp и LM Studio. Квантизация выполнена с использованием imatrix и llama.cpp версии b4014. Лицензия указана как qwen/other; README ссылается на лицензию Qwen2.5-72B-Instruct, однако конкретные условия следует уточнять в исходной лицензии.

Experiment26Neuralsirkrishna_Multi_verse_modelExperiment28 — объединённая автором карточки модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием automerger/Experiment26Neuralsirkrishna-7B и automerger/Multi_verse_modelExperiment28-7B. Она предназначена для генерации текста и диалогов, а окно контекста составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Карточка не приводит сведений о специализированных областях применения или конкретных языках, поэтому модель можно описать только как универсальную генеративную языковую модель.

Experiment26Yam_Experiment27Pastiche — объединённая текстовая модель, созданная на основе automerger/Experiment26Yam-7B и automerger/Experiment27Pastiche-7B. Она предназначена для генерации текста и диалоговых ответов, в том числе с использованием длинного контекста до 32 768 токенов. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Веса представлены в формате safetensors. Модель опубликована под лицензией Apache-2.0. README и метаданные не описывают специализацию по предметным областям или дополнительные ограничения.

Falcon-7B-Instruct — языковая модель TII на основе Falcon-7B, дообученная на смеси диалоговых и инструкционных данных. Это плотная авторегрессионная модель с архитектурой decoder-only; в карточке указаны 7 млрд параметров, тогда как метаданные каталога сообщают 10,9 млрд. В архитектуре используются rotary positional embeddings, multi-query attention и FlashAttention, рассчитанные на эффективный инференс. Модель предназначена для диалогов и выполнения инструкций на естественном языке: она может отвечать на вопросы, помогать с текстовыми задачами и вести беседу. Основной язык обучения — английский; карточка также указывает французский, но предупреждает, что качество на языках помимо английского может быть слабым. Для быстрого инференса README рекомендует не менее 16 ГБ памяти; для использования с Transformers требуется PyTorch 2.0. TII сообщает о дообучении на смеси instruct/chat-датасетов объёмом около 250 млн токенов. Модель может воспроизводить стереотипы и смещения из веб-данных, поэтому перед применением в производстве ответы следует оценивать и дополнять защитными мерами. Лицензия — Apache 2.0.

Gemma 1.1 2B Instruct — языковая instruction-tuned модель Google, представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель содержит около 2 миллиардов параметров и предназначена для текстовой генерации и работы с инструкциями. Модель подходит для диалогов, ответов на вопросы, творческих задач, многошагового общения, программирования, автодополнения и других универсальных сценариев. По сравнению с первоначальной версией Gemma заявлены улучшения качества ответов, работы с кодом, фактической точности, следования инструкциям и многораундового диалога. Небольшой размер делает её подходящей для устройств с ограниченными ресурсами и обеспечивает быстрый отклик. Сильной стороной модели являются связные, подробные и преимущественно образовательные ответы. При этом стиль может быть менее разговорным, чем ожидается, а результаты генерации кода требуют проверки: в приведённом примере присутствует ошибка порядка объявления функций. Системные промпты модель не поддерживает; используется шаблон Google Gemma Instruct. Сведения о поддерживаемых языках и размере контекста в README не указаны. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma; в карточке указана лицензия gemma. Дата выпуска в метаданных — 5 апреля 2024 года.

bartowski/gemma-2-27b-chatml-GGUF — это набор GGUF-квантизаций 27-миллиардной текстовой модели IntervitensInc/gemma-2-27b-chatml. Квантизации подготовлены bartowski с использованием llama.cpp версии b3615 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а запускать её рекомендуется в совместимых приложениях, включая LM Studio. Доступны варианты от исходных весов F16 размером 54,46 ГБ до более компактных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 11,55 до 28,94 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, тогда как компактные варианты снижают требования к оперативной памяти; отдельные Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4 оптимизированы для ARM и CPU-инференса. Точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Сильная сторона набора — широкий выбор квантизаций для разных ограничений по памяти и производительности, включая варианты высокого качества и версии для малоресурсного запуска. Ограничения включают неизвестный формат промптов, отсутствие в README подробностей о возможностях базовой модели и потенциальное снижение качества у низкоразрядных вариантов. Для доступа требуется принять лицензию Google на использование Gemma на Hugging Face; конкретные условия лицензии следует проверить перед применением.

Gemma-2b-it-GGUF — квантизированная GGUF-версия инструкционной языковой модели Gemma 2B, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалоговых приложений и генерации текста по инструкциям; запуск поддерживается через LlamaEdge и совместимые инструменты. Это текстовая модель с размером около 2 млрд параметров и контекстом 2048 токенов. Доступны варианты квантизации от 2 до 8 бит размером примерно от 900 МБ до 2,67 ГБ. Более компактные варианты экономят память, но заметно снижают качество; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые варианты с меньшей потерей качества. Модель удобна для локального развёртывания на ограниченных ресурсах и работы через шаблон запросов gemma-instruct. Ограничения включают небольшой контекст, потерю качества при низкой точности квантизации и отсутствие в README сведений о поддерживаемых языках, результатах тестирования и конкретных возможностях мультимодальности; по представленным данным модель является текстовой. Используется лицензия Gemma Terms of Use, указанная Google.

unsloth/gemma-2-it-GGUF — это набор GGUF-квантованных вариантов инструкционной модели Gemma 2, подготовленный Unsloth на основе модели Google. README указывает, что доступны популярные варианты квантования, а исходная модель относится к семейству Gemma 2 и представлена как минимум в версиях на 2B и 9B параметров. Модель предназначена для диалоговых сценариев, генерации и завершения текста, а также для последующего дообучения на пользовательских датасетах и экспорта в GGUF или vLLM. Заявлен английский язык; другие языки и мультимодальные возможности не указаны. Ключевая особенность — 4-битное квантование с использованием bitsandbytes, снижающее требования к памяти и позволяющее запускать и дообучать модель на более доступном оборудовании. Для Gemma 2 README приводит ориентиры дообучения на GPU Tesla T4: для версии 9B заявлены примерно двукратное ускорение и снижение потребления памяти на 63%, однако эти показатели относятся к описанным сценариям и не гарантируют аналогичную производительность при инференсе. Архитектура, размер контекста, точные параметры GGUF-вариантов и системные требования не приведены. Лицензия указана как gemma. Ограничения, связанные с качеством ответов, безопасностью, поддерживаемыми языками и конкретными режимами квантования, в README подробно не описаны; перед использованием следует проверить условия лицензии Google Gemma и характеристики выбранного файла.

Gemopus-4-26B-A4B-it-GGUF — мультимодальная instruction-tuned модель, разработанная Jackrong на основе Google Gemma 4 26B Instruction. Это версия с supervised fine-tuning, ориентированная на сохранение исходного стиля рассуждений Gemma 4 и улучшение качества, структуры, ясности и согласованности ответов. Модель распространяется в формате GGUF и предназначена для использования с llama.cpp и совместимыми инструментами. Модель поддерживает сценарии генерации текста и работы с изображениями, включая диалоговые, технические и научно-популярные задачи. В README заявлена поддержка английского, китайского, корейского и японского языков. Среди сильных сторон отмечаются более естественный стиль общения, улучшенная организация длинных ответов, точность профессиональной терминологии и способность объяснять сложные темы понятным языком. Рекомендуемые параметры генерации: temperature=1.0, top_p=0.95 и top_k=64. Размер контекстного окна и точные сведения об архитектуре, включая значение обозначения A4B, в предоставленных данных не указаны. Публичные результаты benchmark также отсутствуют, поэтому фактические преимущества модели над базовой Gemma 4 или другими моделями не подтверждены количественно. README подчёркивает консервативный подход к дообучению без агрессивной дистилляции цепочек рассуждений; модель может иметь ограничения, связанные с отсутствием последующего reinforcement learning и process supervision. Лицензия — Apache License 2.0.

GIST-small-Embedding-v0 — англоязычная модель текстовых эмбеддингов, разработанная avsolatorio на основе BAAI/bge-small-en-v1.5 и дообученная методом GISTEmbed. Она кодирует текст в векторы для поиска и сравнения предложений; для получения эмбеддингов инструкционные подсказки не нужны, поэтому запросы можно кодировать напрямую. Модель основана на архитектуре BERT, содержит 40 млн параметров и рассчитана на контекст до 512 токенов. Для дообучения использовались набор MEDI и триплеты, полученные из обучающей части MTEB Classification; качество оценивали на MTEB. В README отмечено, что дообучение улучшило результаты на некоторых задачах, но ухудшило на других, включая поиск по TRECCOVID. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия модели — MIT; лицензии сторонних обучающих данных могут иметь дополнительные условия.

GLM-4.5-Air-GGUF — квантованная версия модели GLM-4.5-Air, опубликованная организацией ggml-org. Исходная модель разработана zai-org. Формат GGUF предназначен для локального запуска и совместим с инструментами экосистемы llama.cpp; в карточке также указан запуск через llama.app. Модель относится к классу text-generation и предназначена для генерации текста и других сценариев работы с текстовыми запросами. В доступных данных не указаны точная архитектура, количество параметров, поддерживаемые языки, размер контекстного окна, набор модальностей и конкретные результаты тестирования, поэтому оценить её производительность и область применения более детально невозможно. Квантование может снизить требования к памяти, однако потенциально сопровождается потерей качества по сравнению с исходной моделью. Модель автоматически конвертирована с использованием инструмента ggml-org/convert. Лицензия — MIT, если условия исходной модели не устанавливают дополнительных ограничений.

GLM-5.3-Flash-W4A16 — это INT4-квантизированная версия модели zai-org/GLM-5.3-Flash, подготовленная для самостоятельного запуска и обслуживания через SGLang. Квантование выполнено по схеме weight-only W4A16 с группами по 128 весов и симметричным представлением. Модель предназначена для генерации текста, мультимодальных сценариев с изображениями и вызова инструментов; заявлены языки English и Chinese. Архитектура использует Mixture-of-Experts, а размер чекпойнта на диске составляет около 190,8 ГБ, что требует значительных аппаратных ресурсов. Основной сценарий применения — высокопроизводительный self-hosted inference на RTX PRO 6000 Blackwell (SM120) с использованием SGLang. В чекпойнте сохранены vision и tool calling, а также встроенная MTP/NEXTN-голова для speculative decoding, способная существенно повысить скорость генерации при корректной настройке. Данные о размере контекстного окна в README не указаны. Для корректной работы обязательны специальные параметры SGLang: отключение shared experts fusion, использование BF16 для KV-кэша и chunked prefill size 4096. Требуется сборка SGLang из post-merge nightly с дополнительными патчами для SM120; готового релизного образа с необходимой поддержкой на момент публикации нет. Без обязательного флага отключения fusion модель генерирует бессмысленный текст и не останавливается. Лицензия — MIT.

granite-embedding-107m-multilingual-GGUF — мультиязычная embedding-модель семейства Granite, разработанная IBM (базовая модель ibm-granite/granite-embedding-107m-multilingual) и квантованная bartowski в формате GGUF. Она предназначена для преобразования текстов в векторные представления и решения задач семантического поиска, информационного поиска и retrieval-сценариев, включая многоязычные приложения и сопоставление запросов с документами. Модель имеет заявленный размер около 107 млн параметров и поддерживает английский, арабский, чешский, немецкий, испанский, французский, итальянский, японский, корейский, нидерландский, португальский и китайский языки. В README приведены результаты оценки на наборе Miracl для retrieval-задач, однако сведения о точной архитектуре энкодера, размерности эмбеддингов, максимальной длине контекста, способе квантования и системных требованиях не указаны. Поэтому эти характеристики нельзя надёжно определить по представленным данным. К сильным сторонам относятся компактный размер, поддержка нескольких языков и ориентация на семантический retrieval, что может упростить локальное развертывание и использование в поисковых системах, RAG-приложениях и классификации по сходству. Ограничения включают отсутствие подробных сведений о контексте, качестве на всех заявленных языках и особенностях квантования; приведённые метрики относятся к отдельным конфигурациям Miracl и не гарантируют аналогичные результаты в конкретном прикладном сценарии. Модель распространяется по лицензии Apache-2.0.

gte-multilingual-reranker-base — мультиязычная модель ранжирования текстов из семейства GTE, разработанная Alibaba NLP. Она предназначена для повторной сортировки найденных документов или фрагментов по релевантности запросу, например, в поисковых системах и конвейерах RAG. Модель использует encoder-only архитектуру трансформера и содержит около 305,3 млн параметров; максимальная длина входа — 8192 токена. По README, она показывает высокие результаты в мультиязычном поиске и при сопоставлении с моделями-реранкерами близкого размера, а её скорость инференса примерно в десять раз выше, чем у упомянутых decoder-only моделей, при меньших требованиях к оборудованию. Поддерживает более 70 языков; метаданные карточки перечисляют языки от арабского до польского, включая английский и русский. Модель принимает текстовые пары «запрос — документ» и оценивает их релевантность, чтобы упорядочить кандидатов. Распространяется под лицензией Apache-2.0. Результаты зависят от качества исходного набора кандидатов: реранжирование само по себе не находит документы, отсутствующие среди входных вариантов. README не приводит подробностей об оценках для каждого языка или домена.

Supabase/gte-small — англоязычная модель текстовых эмбеддингов семейства GTE, разработанного Alibaba DAMO Academy. Репозиторий Supabase содержит веса ONNX для Transformers.js; также доступны веса PyTorch. Модель основана на BERT, насчитывает около 40 млн параметров и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для получения векторных представлений текста, которые можно использовать для информационного поиска, сравнения семантической близости текстов и ранжирования результатов. Подходит для семантического поиска и вычисления сходства между короткими фразами и документами. Лицензия — MIT. Модель рассчитана только на английский язык. Длинные тексты усекаются до 512 токенов; векторные представления сами по себе не генерируют ответы.

Jebadiah/hermes-SOVL-stone-l3-8b — объединённая языковая модель на архитектуре Llama 3, созданная с помощью mergekit методом DARE TIES. В объединение вошли ResplendentAI/SOVL_Llama3_8B как базовая модель и NousResearch/Hermes-2-Pro-Llama-3-8B; конфигурация задаёт для Hermes плотность 0,53 и вес 0,4. Модель содержит 7,5 млрд параметров и использует контекст до 8192 токенов. Модель предназначена для диалоговой генерации текста и ответов на запросы в чат-сценариях. Метаданные указывают библиотеку Transformers и формат safetensors. Основой служат модели Llama 3, одна из которых описана в каталоге как дообученная диалоговая модель для следования инструкциям, вызова функций и генерации структурированных данных JSON. Лицензия в предоставленных данных не указана. Качество и ограничения конкретного объединения в README не описаны; возможности базовой модели не гарантируют их сохранение после слияния.

InnerILLM-7B-slerp — объединённая языковая модель, созданная автором репозитория с помощью LazyMergekit из OpenPipe/mistral-ft-optimized-1218 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP. Это плотная причинно-языковая архитектура Mistral с 7,1 млрд параметров; указанный размер контекста — 32 768 токенов. Модель предназначена для генерации текста, включая диалоговые ответы и задачи рассуждения. В README приведены результаты оценки на бенчмарках AI2 Reasoning Challenge и HellaSwag, а также средняя потеря модели; эти показатели не гарантируют качество на других задачах. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Данные о целевых языках и специализированных областях применения не приведены.

Это GGUF-квантизированная версия чат-модели InternLM2.5-20B-Chat, исходно разработанной командой internlm, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, например LM Studio. Для корректного взаимодействия следует использовать указанный в карточке шаблон prompt format с ролями system, user и assistant. Модель основана на архитектуре InternLM2.5 и имеет 20 млрд параметров; доступна в форматах от F32 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов составляет примерно от 6,97 до 79,45 ГБ, поэтому требования к памяти зависят от выбранного варианта. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а компактные варианты позволяют запускать модель на системах с меньшим объёмом RAM, но могут заметно снижать точность. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что потенциально повышает качество. В карточке не указаны поддерживаемые языки, размер контекста, точная архитектура, результаты оценивания и ограничения по безопасности. Лицензия обозначена как other, без дополнительных условий в README, поэтому перед использованием необходимо проверить лицензию исходной модели InternLM2.5-20B-Chat и условия распространения конкретных файлов.

Карточка модели dhanesh-hf/Jarvis-Titan-M4-Merged на Hugging Face совпадает с карточкой dhanesh-hf/Jarvis-Titan-V15-MoE-Decoupled, поэтому описание составлено по ней. J.A.R.V.I.S. Titan V15 MoE Decoupled — диалоговая языковая модель Dhanesh на архитектуре JarvisTitanMoEForCausalLM. Согласно карточке, она основана на DeepSeekMoE с общим экспертом и восемью маршрутизируемыми экспертами, из которых активируются два; также заявлены слои Tri-Brid памяти с локальным скользящим окном внимания, извлечением значимых KV-состояний и нейронной памятью Titans. Метаданные каталога указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель предназначена для генерации текста в диалоге и взаимодействия с инструментами через соответствующий интерфейс. Карточка описывает объединённые автономные веса M4, включающие калиброванный адаптер Tri-Brid, а метаданные связывают модель с дообучением Jarvis-Titan-V14-MoE-Merged. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

jina-reranker-v1-turbo-en — англоязычный реранкер от Jina AI на основе архитектуры JinaBERT, варианта BERT с двунаправленным ALiBi. Модель оценивает релевантность пар «запрос — документ» и переупорядочивает результаты поиска. Она предназначена для ускорения семантического поиска и улучшения отбора контекста в системах RAG. Это компактная дистиллированная модель с 6 слоями и примерно 37,6 млн параметров; она поддерживает последовательности длиной до 8192 токенов. По данным карточки, в тестах на поисковых наборах она сочетает высокую скорость с конкурентным качеством, хотя в отдельных оценках уступает более крупной версии jina-reranker-v1-base-en. Доступны веса PyTorch и ONNX. Лицензия — Apache-2.0.

Josie 7B v6.0 — дообученная Gökdeniz Gülmez языковая модель семейства Qwen2 для диалоговой генерации текста и выполнения запросов пользователя. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и принимает контекст длиной до 32 768 токенов. Для диалога применяется формат с отдельными сообщениями system, user и assistant; также заявлен интерфейс вызова инструментов. Модель дообучена на пользовательских наборах данных; подробности о них в карточке не раскрыты. Она подходит для чат-ботов и генерации ответов на текстовые запросы. Распространяется в формате safetensors по лицензии Apache 2.0.

Carnice-V2-27b-GGUF — это квантизированная версия текстовой генеративной модели Carnice-V2-27b, разработанной kai-os и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель относится к семейству Qwen и предназначена для локального запуска в задачах генерации текста, диалогов и агентских сценариев; в метаданных также указаны направления SFT и Hermes-agent. Доступны варианты от BF16 до низкобитных квантизаций Q3, Q4, Q5, Q6, Q8 и IQ. Размер модели составляет 27 млрд параметров, а объём файлов зависит от выбранного варианта: примерно от 13 до 54 ГБ. Для квантизации применялся imatrix-подход, поэтому старшие варианты сохраняют качество, близкое к исходной модели, тогда как младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Архитектура, поддерживаемые языки и размер контекста в README не указаны. Модель совместима с llama.cpp и рядом приложений, включая LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие инструменты для локального инференса. Для работы требуется использовать указанный формат prompt с системными, пользовательскими и assistant-сообщениями. Распространение заявлено по лицензии Apache-2.0.

L3.1-70b-Milasha — чат-модель, созданная KaraKaraWitch как слияние пяти моделей семейства Llama 3.1 с помощью LazyMergekit. Она предназначена для диалога и генерации текста в формате Llama 3 Instruct; при слиянии MeowMix использовалась для усиления языковых возможностей в китайском, японском и корейском языках. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель подходит для многоходовых бесед и генерации текста с длинным контекстом. Веса доступны в формате safetensors. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое использование. README не содержит подробной оценки качества или перечня ограничений; заявленный акцент на CJK-языках относится к усилению языковых возможностей при слиянии.

L3.3-70B-Euryale-v2.3-GGUF — это квантизированная версия языковой модели L3.3-70B-Euryale-v2.3, разработанной Sao10K и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp или совместимые приложения, включая LM Studio. Доступно множество вариантов квантизации с разным балансом между качеством и размером — от Q8_0 размером около 75 ГБ до более компактных вариантов Q2 и IQ3. Модель относится к классу text-generation и содержит 70B параметров согласно идентификатору базовой модели. Квантизация выполнена с использованием imatrix и специального набора данных; для некоторых вариантов предусмотрена оптимизация под ARM, AVX или определённые аппаратные возможности. В README не указаны точная архитектура, максимальная длина контекста, поддерживаемые языки, мультимодальность и результаты бенчмарков. Сильной стороной модели является широкий выбор квантизаций: Q6_K и Q5 считаются высококачественными, а Q4-варианты предлагают более доступный размер для большинства сценариев локального запуска. Ограничениями являются значительные требования к памяти даже у компактных вариантов, а также возможное снижение качества при агрессивной квантизации. Для отдельных ARM-оптимизированных файлов требуются конкретные аппаратные инструкции; некоторые варианты не рекомендуется использовать на Mac. Указанная лицензия — Llama 3.

LFM2.5-2.6B-ONNX — языковая модель семейства LFM2.5, разработанная Liquid AI для локального запуска на устройствах и серверных CPU/GPU. Она предназначена для генерации текста и может использоваться в приложениях, работающих через ONNX Runtime или Transformers.js с WebGPU, включая сценарии периферийных вычислений и браузерного выполнения. Модель основана на гибридной архитектуре LFM2 с дополнительным предварительным обучением и reinforcement learning. Размер базовой модели — 2,6 млрд параметров. Доступны варианты FP32, FP16, Q8, Q4 и Q4F16; версии Q4 и Q4F16 используют квантованные входные эмбеддинги, а Q4F16 дополнительно применяет FP16 для вычислений и кэшей. Варианты поддерживают запуск на серверных CPU/GPU, тогда как для WebGPU предназначены Q4, Q4F16 и FP16. Заявлена поддержка арабского, китайского, английского, французского, немецкого, хинди, индонезийского, итальянского, японского, корейского, польского, португальского, русского, испанского, тайского и вьетнамского языков. Сильные стороны модели — ориентация на on-device-развёртывание, несколько уровней квантования и совместимость с WebGPU, что позволяет выбирать между размером, скоростью и качеством. Ограничения включают отсутствие поддержки Q8 в WebGPU и компромиссы качества, характерные для квантованных вариантов; сведения о размере контекста и детальных результатах оценки в карточке не указаны. Модель распространяется по лицензии lfm1.0, обозначенной как other.

AtomicChat/Ling-3.0-flash-GGUF — набор GGUF-квантизаций модели inclusionAI/Ling-3.0-flash, подготовленный AtomicChat. Модель предназначена для генерации текста и диалоговых сценариев, запускаемых локально через llama.cpp; в GGUF встроен шаблон чата, поддерживаются режим рассуждений и вызовы инструментов. Исходная модель имеет 124 млрд параметров, из которых 5,1 млрд активны при обработке токена. Архитектура сочетает гибридное линейное внимание и Mixture-of-Experts на 512 экспертов: 35 блоков KDA чередуются с 7 блоками gated MLA в соотношении 5:1. Доступны варианты размером примерно от 32,4 до 89,4 ГБ; наиболее качественным вариантом для соответствующего объёма памяти заявлен AD-Q5_K_M. Контекст в примере запуска составляет 32 768 токенов, однако максимальный поддерживаемый размер контекста в README не указан. Языки и мультимодальные возможности не заявлены. Ключевая особенность — квантизация Atomic Dynamic, при которой точность распределяется с учётом роли тензоров, типа проекции и глубины блока. По приведённым измерениям, некоторые варианты имеют меньшую ошибку KL относительно BF16, чем стандартные квантизации llama.cpp аналогичного размера. При этом для запуска требуется специальная сборка llama.cpp TurboQuant и значительный объём памяти; память нужна также под контекст. Варианты с очень малым размером, особенно AD-IQ1_S и AD-IQ2_M, заметно теряют качество. Для Intel GPU готового SYCL-архива нет. Лицензия — MIT.

Модель Linkbricks Horizon AI Korean Avengers V1 27B разработана дата-сайентистом Чи Юнсоном (Saxo) из компании Linkbricks. Это дообученная версия Saxo/Linkbricks-Horizon-AI-Korean-Advanced-27B на базе Gemma 2: для обучения использовали корейский SFT и DPO, а также данные корейских новостей, перевода между корейским, китайским, английским и японским языками, математики и логических задач. Модель предназначена для диалогов, перевода, суммаризации и анализа текстов, включая отзывы и публикации в социальных сетях; карточка также заявляет улучшения в написании текстов, программировании, математике и рассуждениях. Модель имеет 27,6 млрд параметров, архитектуру Gemma2ForCausalLM и контекст до 8192 токенов. Токенизатор унаследован от базовой модели без расширения словаря. Опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит сравнительных оценок качества, поэтому заявленные улучшения не позволяют судить о точности на конкретных задачах.

Llama 2 70B — разработанная Meta предварительно обученная авторегрессионная языковая модель с оптимизированной архитектурой Transformer. Эта версия содержит 70 млрд параметров и опубликована в формате Hugging Face Transformers с весами PyTorch и safetensors. Модель принимает текст и генерирует текст. Она предназначена для генерации на естественном языке и может служить основой для адаптации под различные задачи; карточка указывает английский язык как целевой. Модель обучена на 2 трлн токенов общедоступных данных с отсечкой сентября 2022 года. Для версии 70B используется Grouped-Query Attention; длина контекста — 4 тыс. токенов. Модель разработала Meta. Это базовая предварительно обученная версия, а не вариант Llama-2-Chat, поэтому её не следует считать готовым диалоговым помощником без дополнительной настройки. Выводы могут быть неточными, предвзятыми или нежелательными; перед внедрением нужны проверки и настройка безопасности для конкретного применения. Использование регулируется лицензией Meta Llama 2; для загрузки весов требуется принять её условия.

win10/Llama-3.1-13.3B — текстовая генеративная модель, созданная слиянием весов через mergekit методом passthrough на основе NousResearch/Meta-Llama-3.1-8B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель с длинным контекстом до 131072 токенов. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 12,7 млрд параметров; опубликована в формате safetensors для библиотеки Transformers. Карточка не описывает отдельную специализацию или результаты оценки качества. Базовая модель Llama 3.1 предназначена для многоязычной генерации текста, однако конкретные поддерживаемые языки этой сборки не перечислены. Лицензия в предоставленных данных не указана.