بلاگ - مقالات

بررسی تخصصی سرور HPE DL380 Gen11 با دو کارت NVIDIA L40S؛ معماری، کاربردها، عملکرد و گزینه‌های ارتقا

19 آبان
راهنمای تخصصی سرور GPU و زیرساخت AI

بررسی سرور HPE DL380 Gen11 با دو کارت NVIDIA L40S؛ کانفیگ، عملکرد، کاربردها و جایگزین‌ها

تحلیل کامل سرور DL380 Gen11 با پردازنده Intel Xeon Platinum 8460Y+، رم 256GB DDR5، حافظه 4TB NVMe، دو کارت NVIDIA L40S و منبع تغذیه 1800W Titanium افزونه.

این راهنما به کاربردهای هوش مصنوعی، مدل‌های زبانی، پردازش تصویر، رندرینگ، آموزش مدل، مقایسه GPUها، ارتقای CPU و طراحی معماری دو سرور می‌پردازد.

مشخصات کامل کانفیگ سرور

پیکربندی مورد بررسی شامل دو دستگاه HPE ProLiant DL380 Gen11 است. در هر دستگاه دو کارت NVIDIA L40S در نظر گرفته شده است.

قطعهمشخصات هر سرورمجموع پروژه
ServerDL380 Gen11 8SFF2 دستگاه
CPUXeon 8460Y؛ مدل دقیق نیازمند تأییدحداقل 2 پردازنده با فرض یک CPU در هر سرور
RAM256GB DDR5512GB
NVMe4TB8TB
GPU2×NVIDIA L40S4 کارت
GPU VRAM2×48GB مستقل4×48GB مستقل
Power1800W Titanium Redundant2 مجموعه
2
سرور مستقل

دو نود محاسباتی برای توزیع بار کاری.

4
کارت L40S

هر سرور دارای دو شتاب‌دهنده GPU.

192GB
مجموع VRAM فیزیکی

چهار فضای حافظه مستقل 48GB؛ نه یک حافظه یکپارچه.

در درخواست اولیه تعداد دقیق CPU، تعداد SSDهای تشکیل‌دهنده 4TB، چیدمان RAM و نوع شبکه مشخص نشده است. این موارد باید قبل از نهایی‌شدن BOM تعیین شوند.

این سرور برای چه پروژه‌هایی مناسب است؟

هوش مصنوعی سازمانی

اجرای مدل‌های زبانی، چت‌بات داخلی، دستیار اسناد و RAG.

بینایی ماشین

تحلیل تصویر، تشخیص اشیا، کنترل کیفیت و پردازش ویدئو.

تولید تصویر

اجرای مدل‌های مولد تصویر و بعضی Workflowهای تولید ویدئو.

رندرینگ GPU

پردازش سه‌بعدی و رندرینگ با نرم‌افزارهای سازگار.

Fine-tuning

تنظیم دقیق مدل‌های قابل اجرا در ظرفیت حافظه GPU.

توسعه و آزمایش AI

محیط اجرای PyTorch، مدل‌های تحقیقاتی و سرویس‌های GPU.

تفاوت Training و Inference

Training به آموزش یا به‌روزرسانی پارامترهای مدل گفته می‌شود. Inference به استفاده از مدل آموزش‌دیده برای تولید خروجی اشاره دارد.

L40S برای بسیاری از کاربردهای Inference و بعضی فعالیت‌های Fine-tuning قابل بررسی است. اما برای آموزش مدل‌های بسیار بزرگ، ممکن است GPUهای دارای حافظه HBM و ارتباطات پرسرعت مناسب‌تر باشند.

بررسی تخصصی NVIDIA L40S 48GB

NVIDIA L40S یک شتاب‌دهنده دیتاسنتری مبتنی بر معماری Ada Lovelace است که برای ترکیبی از هوش مصنوعی، گرافیک و پردازش موازی طراحی شده است.

ویژگیمشخصات
ArchitectureAda Lovelace
Memory48GB GDDR6 ECC
Memory Bandwidth864GB/s
CUDA Cores18,176
FP32 Peak91.6 TFLOPS
PCIePCIe 4.0 x16
Maximum Power350W
NVLinkندارد

توان محاسباتی نظری

FP32
91.6 TFLOPS
FP16 Tensor
733 TFLOPS
FP8 Tensor
1466 TFLOPS

ارقام Tensor فوق سقف نظری با Sparsity هستند. عملکرد واقعی به نوع مدل، نرم‌افزار، دقت محاسبات و شرایط اجرا بستگی دارد. این نمودار معیار سرعت واقعی توکن یا تصویر نیست.

آیا دو L40S حافظه 96GB یکپارچه دارند؟

خیر. هر کارت 48GB حافظه مستقل دارد. برای اجرای مدل تقسیم‌شده بین دو کارت، نرم‌افزار باید از Model Parallelism یا روش‌های مشابه پشتیبانی کند.

L40S از NVLink پشتیبانی نمی‌کند و ارتباط میان کارت‌ها از مسیر PCIe انجام می‌شود.

96GB مجموع حافظه دو کارت است، نه حافظه یکپارچه یک GPU. این تفاوت برای اجرای مدل‌های بزرگ زبانی اهمیت زیادی دارد.

چه مدل‌های هوش مصنوعی روی L40S اجرا می‌شوند؟

میزان حافظه موردنیاز مدل به تعداد پارامترها، دقت وزن‌ها، Context، KV Cache و سربار نرم‌افزار بستگی دارد.

مقایسه تقریبی حافظه وزن مدل‌ها

مدل DenseFP16INT8 تقریبیINT4 تقریبی
8B16GB8GB4GB
32B64GB32GB16GB
70B140GB70GB35GB

نمودار وزن مدل در FP16

8B
16GB
32B
64GB
70B
140GB

یک مدل 8B با FP16 معمولاً از نظر حافظه وزن‌ها روی یک L40S قابل بررسی است.

برای مدل‌های بزرگ‌تر، کوانتیزاسیون یا تقسیم مدل بین GPUها ممکن است ضروری باشد.

مقادیر جدول فقط تخمین حافظه وزن مدل هستند. KV Cache، Activationها، Runtime و سربار کوانتیزاسیون می‌توانند حافظه بیشتری مصرف کنند.

چند کاربر هم‌زمان پشتیبانی می‌شود؟

تعداد کاربران را نمی‌توان تنها از تعداد GPU تعیین کرد. معیارهای مهم شامل Tokens/s، زمان اولین توکن، طول Context، تعداد درخواست هم‌زمان و Latency هستند.

برای اندازه‌گیری واقعی باید مدل مشخص، موتور استنتاج و سناریوی بارگذاری تعیین شوند.

پردازنده Xeon Platinum 8460Y+ و گزینه‌های قوی‌تر

در درخواست اولیه مدل 8460Y نوشته شده است. مدل رسمی قابل بررسی Intel Xeon Platinum 8460Y+ است و باید پارت‌نامبر نهایی تأیید شود.

40
هسته پردازشی

Xeon Platinum 8460Y+

80
رشته پردازشی

پشتیبانی از Hyper-Threading.

300W
توان طراحی حرارتی

نیازمند خنک‌سازی سازگار.

وظیفه CPU در سرور GPU

  • اجرای سیستم‌عامل و سرویس‌ها
  • پیش‌پردازش داده‌ها
  • مدیریت درخواست‌ها و شبکه
  • آماده‌سازی داده برای GPU
  • مدیریت Containerها و سرویس‌های AI

مقایسه تعداد هسته پردازنده‌ها

8460Y+
40 Core
8480+
56 Core
8490H
60 Core
8592+
64 Core

نمودار فقط تعداد هسته را مقایسه می‌کند؛ نه عملکرد واقعی برنامه یا کارایی هوش مصنوعی.

پردازنده قوی‌تر همیشه باعث افزایش محسوس سرعت GPU نمی‌شود. قبل از ارتقا باید میزان استفاده CPU، GPU و شبکه اندازه‌گیری شود. سازگاری پردازنده با BIOS، Heatsink و محدودیت توان شاسی نیز ضروری است.

حافظه 256GB DDR5؛ آیا کافی است؟

RAM سیستم برای بارگذاری داده‌ها، اجرای سرویس‌ها، Cache و پیش‌پردازش استفاده می‌شود.

256GB ظرفیت مناسبی برای شروع ارزیابی بسیاری از بارهای کاری سازمانی است، اما مقدار نهایی به پروژه بستگی دارد.

سناریوهای ارتقای RAM

پایه
256GB
ارتقا
512GB
ظرفیت بالا
1024GB

چیدمان RAM چرا مهم است؟

تعداد ماژول‌ها و کانال‌های فعال حافظه می‌تواند بر پهنای باند حافظه CPU تأثیر بگذارد.

چیدمان نهایی باید براساس تعداد CPUها و راهنمای Memory Population شرکت HPE تعیین شود.

RAM سیستم جایگزین VRAM کارت گرافیک نیست. انتقال بخش‌هایی از مدل به RAM می‌تواند ظرفیت اجرای مدل را افزایش دهد، اما معمولاً با هزینه کاهش سرعت همراه است.

حافظه 4TB NVMe؛ کاربرد و نکات انتخاب

NVMe یک پروتکل ذخیره‌سازی پرسرعت است که معمولاً روی مسیر PCIe استفاده می‌شود.

در سرور AI، حافظه NVMe برای نگهداری مدل‌ها، Datasetها، Container Imageها، Cache و داده‌های موقت کاربرد دارد.

Model Storage

نگهداری وزن مدل‌ها و فایل‌های مربوط به اجرای AI.

Dataset

ذخیره داده‌های موردنیاز آموزش، آزمایش و پردازش.

Local Cache

کاهش وابستگی برخی پردازش‌ها به ذخیره‌سازی شبکه.

یک SSD یا چند SSD؟

عبارت 4TB NVMe به‌تنهایی تعداد درایوها را مشخص نمی‌کند.

برای محیط عملیاتی باید تعداد SSD، نوع Enterprise، میزان Endurance، Power Loss Protection و سیاست Backup مشخص شوند.

یک SSD چهارترابایتی افزونگی دیسک ندارد. در صورت نیاز به تحمل خرابی، باید معماری ذخیره‌سازی به‌صورت جداگانه طراحی شود.

پاور 1800W Titanium و خنک‌سازی GPU

هر L40S حداکثر توان 350W دارد؛ بنابراین دو کارت می‌توانند تا 700W مصرف کنند.

مصرف CPU، RAM، فن‌ها، SSD و تجهیزات شبکه نیز باید به این مقدار اضافه شود.

نمونه بودجه توان تقریبی

دو GPU
700W
یک CPU
300W
سایر اجزا
200W فرضی

جمع نمونه 1200W است. این عدد یک برآورد آموزشی برای یک CPU است، نه محاسبه رسمی توان سرور.

Redundant Power یعنی چه؟

در آرایش افزونه 1+1، دو منبع تغذیه برای افزایش دسترس‌پذیری در نظر گرفته می‌شوند.

در صورت خرابی یک پاور، پاور باقی‌مانده باید توان موردنیاز سیستم را تأمین کند.

دو پاور 1800W در حالت Redundant 1+1 به معنی 3600W توان قابل اتکا نیست. همچنین سازگاری دو L40S با شاسی، Riser، کابل برق GPU، فن‌ها و محدودیت دمای محیط باید طبق QuickSpecs بررسی شود.

جایگزین‌های NVIDIA L40S؛ کدام GPU مناسب‌تر است؟

GPU VRAM کاربرد اصلی نکته مهم
NVIDIA L424GBاستنتاج سبک‌تر و ویدئومصرف انرژی کمتر
NVIDIA L4048GBگرافیک و AIتوان AI متفاوت با L40S
NVIDIA L40S48GBAI و گرافیک ترکیبیگزینه اصلی پروژه
NVIDIA A100 80GB80GBآموزش و محاسبات AIحافظه HBM
NVIDIA H100 PCIe80GBAI سنگینهزینه و توان بالاتر
NVIDIA H100 NVL94GBمدل‌های زبانی بزرگنیازمند پلتفرم مناسب
RTX 6000 Ada48GBگرافیک حرفه‌ای و AIسازگاری سروری باید بررسی شود

نمودار ظرفیت VRAM هر GPU

L4
24GB
L40S
48GB
A100 80GB
80GB
H100 PCIe
80GB
H100 NVL
94GB

نمودار فقط ظرفیت حافظه هر کارت را نشان می‌دهد. ظرفیت بیشتر لزوماً به معنی عملکرد سریع‌تر در تمام برنامه‌ها نیست.

این فهرست گزینه‌های قابل ارزیابی است. همه کارت‌ها الزاماً روی DL380 Gen11 8SFF پشتیبانی نمی‌شوند. سازگاری باید با QuickSpecs و BOM رسمی HPE تأیید شود.

معماری دو سرور با چهار GPU چگونه طراحی می‌شود؟

Users / API درخواست کاربران
←
Load Balancer توزیع درخواست‌ها
←
GPU Nodes دو سرور، چهار L40S
Server 1

DL380 Gen11 + 2×L40S + 256GB RAM + 4TB NVMe

Server 2

DL380 Gen11 + 2×L40S + 256GB RAM + 4TB NVMe

Management

مانیتورینگ، لاگ، مدیریت مدل‌ها و سرویس‌های مشترک.

سناریوی اول: سرویس‌دهی مستقل

هر سرور یک یا چند مدل را اجرا می‌کند و درخواست‌ها بین نودها توزیع می‌شوند.

این روش برای افزایش ظرفیت و طراحی دسترس‌پذیری قابل بررسی است.

سناریوی دوم: مدل تقسیم‌شده

یک مدل بزرگ بین چند GPU تقسیم می‌شود. در این حالت ارتباط بین GPUها و شبکه اهمیت بیشتری پیدا می‌کند.

سناریوی سوم: تفکیک بار کاری

یک سرور برای LLM و RAG و سرور دیگر برای تولید تصویر یا بینایی ماشین استفاده می‌شود.

چهار GPU در دو سرور معادل یک سیستم چهار GPU با حافظه و ارتباطات یکپارچه نیست. برای اجرای توزیع‌شده، پهنای باند شبکه و سربار ارتباطی باید بررسی شود.

چه تجهیزات دیگری برای پروژه لازم است؟

  • کارت شبکه مناسب مانند 25GbE یا 100GbE براساس نیاز واقعی
  • سوئیچ و کابل شبکه سازگار
  • سیستم‌عامل و درایورهای تأییدشده
  • CUDA و ابزارهای اجرای مدل
  • Docker یا محیط Container مناسب
  • ابزارهای مانیتورینگ GPU و سرور
  • سیستم Backup و کنترل دسترسی
  • UPS و برق رک مناسب
  • خنک‌سازی و تهویه دیتاسنتر
  • مستندات نصب و برنامه نگهداری

چگونه عملکرد واقعی سرور AI را اندازه‌گیری کنیم؟

بار کاریمعیار اندازه‌گیری
LLM InferenceTokens/s و TTFT
Concurrent RequestsThroughput و P95 Latency
Image GenerationImages/min
Computer VisionFPS و Latency
Model TrainingSamples/s و زمان Epoch
GPU MonitoringUtilization و VRAM Usage
Energy EfficiencyPerformance/Watt

بدون تعیین مدل، نوع داده، تعداد درخواست‌ها و تنظیمات نرم‌افزار، نمی‌توان عدد قطعی برای تعداد کاربر یا سرعت تولید خروجی اعلام کرد.

پیشنهاد بهینه‌سازی کانفیگ

قطعهکانفیگ پایهپیشنهاد بررسی
ServerDL380 Gen11 8SFFتأیید BOM و Riser
CPU8460Yتأیید 8460Y+ و تعداد CPU
RAM256GBبررسی چیدمان و نیاز به 512GB
Storage4TB NVMeتعیین تعداد SSD و افزونگی
GPU2×L40Sحفظ برای AI و Graphics ترکیبی
Power1800W Redundantتأیید بودجه توان
Coolingنامشخصتأیید Fan Kit و محدودیت دما
Networkنامشخصانتخاب براساس بار کاری

سؤالات متداول

آیا DL380 Gen11 برای هوش مصنوعی مناسب است؟

بله، در پیکربندی‌های GPU سازگار می‌تواند برای استنتاج، پردازش تصویر و برخی پروژه‌های توسعه AI استفاده شود. ظرفیت و سازگاری نهایی باید بررسی شود.

آیا دو L40S معادل یک GPU با 96GB حافظه هستند؟

خیر. دو کارت حافظه مستقل دارند و برای استفاده مشترک باید نرم‌افزار از تقسیم مدل پشتیبانی کند.

آیا L40S برای آموزش مدل مناسب است؟

برای بعضی مدل‌ها و Fine-tuning قابل بررسی است، اما آموزش مدل‌های بسیار بزرگ ممکن است به GPUهای تخصصی‌تر و حافظه بیشتر نیاز داشته باشد.

آیا پردازنده 8480+ از 8460Y+ بهتر است؟

8480+ هسته‌های بیشتری دارد، اما عملکرد واقعی به نوع بار کاری بستگی دارد. برای پروژه GPU-محور باید ابتدا گلوگاه سیستم مشخص شود.

آیا 256GB RAM کافی است؟

برای بسیاری از سناریوهای اولیه قابل بررسی است، اما مقدار مناسب به اندازه مدل، سرویس‌های جانبی و حجم داده بستگی دارد.

آیا پاور 1800W برای دو L40S کافی است؟

باید بودجه توان کامل سرور و الزامات Redundancy طبق ابزار پیکربندی HPE تأیید شود. صرف ظرفیت اسمی پاور برای تضمین کافی نیست.

چه کارت گرافیکی جایگزین L40S است؟

بسته به پروژه، L4، L40، A100، H100 یا RTX 6000 Ada قابل بررسی هستند؛ ولی سازگاری فیزیکی و رسمی با سرور باید جداگانه تأیید شود.

چه تعداد کاربر می‌توانند هم‌زمان از سرور استفاده کنند؟

تعداد کاربران به مدل، Context، Batch Size، موتور استنتاج و سطح Latency مورد انتظار بستگی دارد و باید Benchmark انجام شود.

جمع‌بندی نهایی

ترکیب HPE DL380 Gen11 با دو کارت NVIDIA L40S، پردازنده Xeon Platinum، رم DDR5 و حافظه NVMe می‌تواند بستر قدرتمندی برای طیف متنوعی از پروژه‌های هوش مصنوعی و پردازش گرافیکی باشد.

در پروژه دو سروری، چهار کارت L40S در اختیار قرار می‌گیرد؛ اما طراحی نرم‌افزار، شبکه، حافظه، توان و خنک‌سازی تعیین می‌کند این منابع با چه بازدهی استفاده شوند.

پیش از خرید، بهتر است مدل‌های هدف، تعداد کاربران، نوع پردازش، نیاز به Training یا Inference و معیارهای پذیرش مشخص شوند.

بازگشت بە لیست
قدیمی‌تر قیمت هارد استوریج HP MSA؛ بررسی C8S61A و C8S59A

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *