Ко всем новостям
🌐Hugging Face BlogAI-адаптировано

Релиз CWE-bench v2: бенчмарк для проверки LLM на уязвимости и анализ Парето-фронта стоимости

Инсайт ServerSales • Влияние на рынок

CWE-bench v2 задает новый стандарт для оценки безопасности ИИ-моделей, показывая критический баланс между точностью поиска уязвимостей и затратами на инференс.

Вышло масштабное обновление бенчмарка CWE-bench v2, предназначенного для оценки способности больших языковых моделей находить и предотвращать программные уязвимости. В новую версию вошло 100 тщательно отобранных и проверенных вручную задач, охватывающих 91 тип уязвимостей по классификации CWE. Бенчмарк позволяет проверять как открытые веса (open-weight), так и закрытые API-модели (включая Gemini, Claude и GPT). Основные технические итоги тестирования 11 моделей: - Лидеры по точности: Gemini 4 Argon показывает лучший результат с 67.8% pass@1 и 81.0% pass@4, незначительно опережая Claude Opus 5.5 (67.3% pass@1). - Сложность: 95 из 100 задач успешно решаются хотя бы одной моделью, однако лучший лидер ошибается в 19% попыток, что говорит о далеком от завершения решении проблемы сложных уязвимостей. - Анализ стоимости (Парето-фронт): DeepSeek V4.1 Flash выдает 57.0% pass@1 всего по $0.04 за раскатку, в то время как Claude Opus 5.5 добавляет 10% точности при стоимости $1.83, а Gemini требует уже $3.92. - Инфраструктура тестов: Каждая задача упакована в изолированный Docker-контейнер через экосистему Harbor, что позволяет запускать тесты напрямую из репозитория Hugging Face без ручного клонирования. 🔍 Как выбрать сервер: Сравнить актуальные конфигурации серверов для инференса и тестирования LLM на базе мощных GPU и найти оптимальные цены от проверенных провайдеров можно в каталоге ServerSales (/catalog).

Где захостить и как запустить

Планируете развернуть DeepSeek?

На ServerSales вы можете рассчитать точные требования к VRAM под разные типы квантования (4-bit Q4 / FP8 / FP16), оценить скорость генерации (токенов/сек) и сразу подобрать проверенный сервер с GPU от ведущих провайдеров.

Первоисточник материала
Новость опубликована в издании Hugging Face Blog.
Вы можете прочитать полную версию статьи и комментарии на сайте источника.
Читать на Hugging Face Blog
Проверенные провайдеры под задачи материала

Надежные облачные платформы и серверы в РФ

Весь каталог
SelectelTier III • 152-ФЗ
★ 4.9

Крупнейший IaaS-провайдер РФ: облачные VPS, Bare Metal серверы и GPU-кластеры для ИИ.

Бонус до 3 000 ₽ на облачную платформу
Перейти в Selectel
Timeweb CloudNVMe • Anti-DDoS
★ 4.8

Скоростные VPS от 299 ₽/мес, почасовая тарификация, готовые образы и GPU RTX 4090 / A100.

Скидка 20% на первый заказ VPS
Перейти в Timeweb Cloud
Рекомендуемые конфигурации по теме
В наличииGPU
Timeweb Cloud

Timeweb Cloud

Россия★ 4.8

GPU RTX A5000 24GB

CPU

8 ядер

RAM

64 ГБ

Диск

500 ГБ NVMe

Канал

1 Гбит/с

GPU

NVIDIA RTX A5000 (24 ГБ GDDR6X)

36 ₽/час

24 999 ₽/мес

В наличииЛучшая цена GPU
Hostkey

Hostkey

Россия★ 4.3

vgpu.v3-4090 (RTX 4090 24GB)

CPU

8 ядер

RAM

64 ГБ

Диск

240 ГБ NVMe

Канал

1 Гбит/с

GPU

NVIDIA RTX 4090 (24 ГБ GDDR6X)

42 ₽/час

29 900 ₽/мес

В наличииGPU
Timeweb Cloud

Timeweb Cloud

Москва★ 4.8

GPU RTX 4090

CPU

16 ядер • 3.7 ГГц

RAM

64 ГБ

Диск

512 ГБ NVMe

Канал

1 Гбит/с

GPU

NVIDIA RTX 4090 (24 ГБ GDDR6X)

49 ₽/час

34 999 ₽/мес

Каталог серверов ServerSales

Ищете точную конфигурацию под ваш бюджет?

Используйте наш интерактивный мастер подбора: рассчитайте точные ресурсы CPU, RAM и диска за 3 шага.

Другие новости индустрии

🌐PhoronixAI-адаптация

Linux 7.4 ускорит инициализацию NVMe за счет параллельной обработки пространств имен

В свежем патче подсистемы block для готовящегося релиза ядра Linux 7.4 реализована важная оптимизация для работы с накопителями NVMe. Разработчики перевели процедуру сканирования и инициализации пространств имен (namespaces) в параллельный режим. Ранее при подключении многоуровневых Enterprise SSD или массивов с большим количеством логических разделов (namespaces) ядро опрашивало их последовательно. Это приводило к заметной задержке во время загрузки системы или горячего подключения дисков, особенно на серверах высокой плотности с десятками NVMe-накопителей на шине PCIe. Основные технические детали обновления: * Параллельная инициализация NVMe namespaces снижает накладные расходы на старте системы. * Ускоряется процесс детектирования дисков контроллерами. * Патч особенно актуален для гипервизоров и дата-центров, оперирующих массивами быстрых NVMe U.2/U.5 SSD. 🔍 Как выбрать сервер: Сравнить актуальные конфигурации серверов на базе этого оборудования и найти минимальные цены от проверенных провайдеров РФ и Европы можно в каталоге ServerSales (/catalog).

💡 Инсайт:Параллельное сканирование NVMe namespaces в Linux 7.4 сокращает время загрузки серверов с большим парком быстрых SSD.
🌐PhoronixAI-адаптация

Libreboot отменяет запрет на использование ИИ при разработке прошивок

Проект Libreboot, известный своей бескомпромиссной приверженностью свободному ПО, официально отказался от политики запрета на использование нейросетей при написании кода. Ограничение, введенное всего месяц назад, было снято: теперь контрибьюторы могут свободно использовать LLM для генерации патчей и документации. Для системных администраторов и инженеров, занимающихся низкоуровневой настройкой серверов, это решение означает: * Снижение барьера входа для написания сложных скриптов инициализации и отладки прошивок. * Ускорение процесса исправления багов в драйверах и модулях ядра за счет использования ИИ-ассистентов. * Возвращение к прагматичному подходу, где качество кода важнее инструментов, с помощью которых он был написан. 💡 Как выбрать сервер: Если вы планируете развертывание инфраструктуры с использованием Open Source прошивок или кастомных решений для обеспечения максимальной прозрачности и безопасности, подобрать серверы с поддержкой актуальных архитектур можно в каталоге ServerSales (/catalog).

💡 Инсайт:Отказ от запрета на ИИ в Libreboot сигнализирует о признании нейросетей полноценным инструментом в разработке критически важного системного ПО.
🌐PhoronixAI-адаптация

Ядро Linux 7.5 увеличивает лимит mmap до 8 ТБ для ускорения работы с многочиповыми GPU

В грядущем цикле разработки ядра Linux 7.5 появится важное изменение в графических драйверах подсистемы GEM/TTM. Разработчики расширяют диапазон mmap для буферных объектов с прежнего 1 ТБ сразу до 8 ТБ. Это архитектурное обновление критически важно для современных серверов искусственного интеллекта и высокопроизводительных вычислений (HPC), где используются массивные ускорители со значительным объемом видеопамяти (VRAM). Ранее существовавший лимит в 1 ТБ создавал узкие горлышки при проецировании больших объемов памяти GPU в адресное пространство хоста. Новое решение позволит: - Эффективнее мапить огромные массивы VRAM многочиповых конфигураций accelerators. - Снизить оверхед при работе с тяжелыми весами моделей и большими датасетами. - Повысить общую пропускную способность шины и стабильность кластеров под нагрузкой. 🔍 Как выбрать сервер: Сравнить актуальные конфигурации серверов на базе этого оборудования и найти минимальные цены от проверенных провайдеров РФ и Европы можно в каталоге ServerSales (/catalog).

💡 Инсайт:Снятие ограничений подсистемы памяти Linux до 8 ТБ оптимизирует работу плотных кластеров GPU и многотерабайтных VRAM-конфигураций в серверах ИИ.