نسل‌های مختلف PCIe و پهنای باند

PCIe ، شریان حیاتی دیتاسنتر

گذرگاه PCI Express (Peripheral Component Interconnect Express) شریان حیاتی هر سرور و ورک‌استیشن مدرن است. این گذرگاه وظیفه اتصال پرسرعت پردازنده مرکزی (CPU) به تمام اجزای مهم جانبی (Peripherals) از جمله کارت‌های شبکه، کنترلرهای ذخیره‌سازی، درایوهای NVMe و مهم‌تر از همه، پردازنده‌های گرافیکی (GPU) را بر عهده دارد. در محیط‌های دیتاسنتر که هر میکروثانیه اهمیت دارد، پهنای باند و تأخیر (Latency) گذرگاه PCIe به طور مستقیم بر عملکرد کل سیستم تأثیر می‌گذارد. به همین دلیل، هنگام بررسی قیمت سرور اچ پی، هزینه قطعات سرور مانند GPUها یا NVMeهای پرسرعت، ارتباط مستقیمی با پشتیبانی سرور از جدیدترین نسل‌های PCIe دارد. درک تفاوت میان نسل‌های مختلف PCIe، کلید طراحی یک زیرساخت مقیاس‌پذیر و آماده برای پذیرش Workloadهای آینده مانند هوش مصنوعی و تحلیل کلان داده است.

نسل‌های PCIe و قانون دو برابر شدن پهنای باند

تکامل PCIe با هدف مستمر دو برابر کردن پهنای باند (Throughput) در هر نسل، نسبت به نسل قبلی، صورت گرفته است. این امر تضمین می‌کند که سرعت پیشرفت CPUها و GPUها دچار گلوگاه نشود.

۱. مکانیزم محاسبه سرعت و پهنای باند

سرعت انتقال داده در PCIe با دو معیار کلیدی اندازه‌گیری می‌شود:

• نرخ انتقال (Transfer Rate – GT/s): این معیار تعداد گیگا انتقال در ثانیه را نشان می‌دهد و شامل بیت‌های داده واقعی و بیت‌های سربار (Overhead) پروتکل است.
• پهنای باند (Bandwidth – GB/s): این معیار مقدار داده مفید قابل انتقال در ثانیه را نشان می‌دهد و بر اساس فرمول:

{پهنای باند} = نرخ انتقال (GT/s) x تعداد Lane x راندمان رمزگذاری

در نسل‌های PCIe Gen1 تا Gen3، راندمان رمزگذاری ٪۸۰ بود (رمزگذاری 8b/10b). یعنی از هر ۱۰ بیت ارسال شده، فقط ۸ بیت داده مفید بود. اما با شروع PCIe Gen 4، راندمان با استفاده از رمزگذاری 128b/130b به بیش از ٪۹۸ افزایش یافت که این جهش بزرگی در بهره‌وری سیگنال‌دهی ایجاد کرد.

۲. مقایسه سرعت PCIe نسل‌های کلیدی (در یک Lane)

۳. مفهوم Lane و اسلات (x1، x8، x16)

پهنای باند کلی گذرگاه PCIe با تعداد Laneها (خطوط انتقال موازی) تعیین می‌شود.

• x16: اسلاتی که از ۱۶ خط انتقال به صورت همزمان استفاده می‌کند. این بالاترین پیکربندی است و معمولاً برای کارت‌های گرافیک یا آداپتورهای شبکه ۴۰۰G در نظر گرفته می‌شود.
• x8: اسلاتی که از ۸ خط استفاده می‌کند، رایج برای کارت‌های شبکه ۲۰۰G یا کنترلرهای RAID پرسرعت.
• x4: رایج برای درایوهای NVMe M.2 و برخی کارت‌های شبکه ۱۰۰G.

به عنوان مثال، پهنای باند یک اسلات x16 در نسل ۵، 3.94GB/s x 16 یعنی حدودا 63 گیگابایت بر ثانیه است.

اهمیت این موضوع زمانی مشخص می‌شود که یک کارت شبکه ۴۰۰ گیگابیت بر ثانیه (Gbps) به پهنای باندی در حدود ۵۰ گیگابایت بر ثانیه (GB/s) نیاز دارد. این کارت برای کارکرد با راندمان کامل، نیازمند یک اسلات PCIe Gen 5 x16 است. اگر همین کارت روی PCIe Gen 4 x16 نصب شود، پهنای باند به نصف کاهش یافته و عملکرد کارت شبکه دچار گلوگاه (Bottleneck) جدی می‌شود.

ویژگی‌های کلیدی PCIe نسل‌های ۵، ۶ و ۷

فراتر از افزایش صرف سرعت، هر نسل ویژگی‌های نوینی را برای افزایش کارایی و پاسخگویی به نیازهای جدید دیتاسنتر معرفی می‌کند.

۱. PCIe Gen 5: استاندارد فعلی سرورهای رده‌بالا

• نقطه عطف: اولین استاندارد ۳۲ GT/s است که پهنای باند ۶۴ گیگابایت بر ثانیه را در x16 فراهم می‌کند.
• کاربرد حیاتی: این نسل برای پشتیبانی از نسل‌های جدید درایوهای NVMe Gen 5 که قادر به ارائه سرعت خواندن ۱۴ تا ۱۶ گیگابایت بر ثانیه هستند، ضروری است. همچنین برای تغذیه GPUهای آموزشی با حجم داده بالا، حیاتی است.

یکی از مهم‌ترین ویژگی‌های Gen 5، بهبود پروتکل برای سناریوهای Multi-Host است. در این نسل، کنترلر PCIe با قابلیت‌های پیشرفته‌تر QoS (Quality of Service) و End-to-End Reliability ارائه می‌شود که برای محیط‌های مجازی‌سازی با تراکم بالا و همچنین معماری‌هایی که از CXL (Compute Express Link) استفاده می‌کنند، یکپارچگی سیگنال و داده‌ها را تضمین می‌کند.

۲. PCIe Gen 6 و جهش به سمت PAM4 و Latency پایین

• تکنولوژی کلیدی: سیگنال‌دهی PAM4 (Pulse Amplitude Modulation 4-Level).

PAM4 به جای انتقال یک بیت در هر چرخه (مانند سیگنال‌دهی NRZ در Gen 5)، دو بیت را در هر چرخه انتقال می‌دهد. این امر، بدون نیاز به دو برابر کردن فرکانس سیگنال، پهنای باند را دو برابر می‌کند. این تغییر باعث می‌شود Gen 6 برای معماری‌های جدید CXL (Compute Express Link) که نیازمند تأخیر بسیار پایین برای دسترسی به حافظه مشترک هستند، ایده‌آل باشد.

• مکانیزم تصحیح خطا (FEC): برای مدیریت خطاهایی که به طور ذاتی در سیگنال‌دهی PAM4 وجود دارند، Gen 6 از Forward Error Correction (FEC) سبک استفاده می‌کند. این مکانیزم تضمین می‌کند که سرعت انتقال افزایش یابد در حالی که نرخ خطای بیت (BER) در محدوده قابل قبول باقی بماند. این یک تغییر عمده نسبت به نسل‌های قبل است.

۳. PCIe Gen 7 و آینده محاسبات پر سرعت (پیش‌بینی شده)

• هدف: دستیابی به نرخ انتقال ۱۲۸ GT/s، معادل ۱۲۸ گیگابایت بر ثانیه در یک اسلات x8 و ۲۵۶ گیگابایت بر ثانیه در یک اسلات x16.
• کاربرد مورد انتظار: این نسل برای پشتیبانی از شبکه‌های ۸۰۰G و ۱۶۰۰G و همچنین ارتباطات Multi-GPU در مقیاس بسیار بزرگ (برای هوش مصنوعی مولد) که نیازمند تبادل حجم عظیمی از داده با کمترین تأخیر هستند، طراحی خواهد شد.

Gen 7 احتمالاً بر بهبود بیشتر کارایی انرژی و کاهش پیچیدگی و هزینه کابل‌کشی در فواصل کوتاه تمرکز خواهد کرد. این سطح از پهنای باند، امکان ایجاد یک Fabric (شبکه داخلی) برای اتصال مستقیم ده‌ها GPU و NVMe را فراهم می‌کند و وابستگی به معماری‌های سنتی CPU-Centric را کاهش می‌دهد.

چالش‌های پیاده‌سازی و ملاحظات سروری

اگرچه افزایش پهنای باند یک مزیت بزرگ است، پیاده‌سازی آن در محیط سرورهای رک‌مونت چالش‌های متعددی را به همراه دارد.

۱. چالش‌های سیگنال‌دهی و سخت‌افزاری

• افت سیگنال (Signal Degradation): در فرکانس‌های بالاتر (مانند ۳۲ GT/s در Gen 5 و بالاتر)، سیگنال الکتریکی در طول مسیرهای طولانی (مثل مسیر بین CPU و اسلات PCIe روی رایزر کارت) به سرعت کیفیت خود را از دست می‌دهد.

برای غلبه بر این مشکل، سرورهای مدرن از تکنیک‌هایی مانند Re-timers و Re-drivers استفاده می‌کنند. Re-drivers سیگنال را تقویت کرده و Re-timers سیگنال را قبل از ارسال مجدد، بازسازی می‌کنند تا از صحت آن در سراسر کانال PCIe اطمینان حاصل شود. این قطعات در مسیرهای طولانی گذرگاه و روی رایزر کارت‌ها ضروری هستند. کیفیت مواد PCB (Board Material) در مادربردها و رایزر کارت‌های Gen 5 باید به مراتب بالاتر (مانند مواد Low-Loss) باشد تا افت سیگنال به حداقل برسد.

۲. مدیریت حرارتی و توان (Power and Thermal Management)

• مصرف برق: با افزایش سرعت، مصرف برق تراشه‌های کنترلر PCIe و همچنین کارت‌های توسعه‌ای که از این پهنای باند استفاده می‌کنند (مانند GPUها)، به شدت افزایش می‌یابد.
• خنک‌کنندگی: سرور باید سیستم خنک‌کننده قوی‌تری داشته باشد تا بتواند گرمای تولید شده توسط مسیرهای پرسرعت و کارت‌های پرمصرف را مدیریت کند.

استاندارد PCIe توان مصرفی هر اسلات (Slot Power) را تعریف می‌کند. با این حال، کارت‌های Gen 5 و بالاتر، اغلب نیاز به توان بیشتری از اسلات‌های خود دارند، که مدیریت آن از طریق پین‌های برق کمکی (Auxiliary Power Pins) روی مادربرد یا رایزر کارت‌ها انجام می‌شود. سیستم‌های مدیریت سرور (مانند HPE iLO) توان مصرفی PCIe را به طور دقیق پایش می‌کنند و در صورت مصرف بیش از حد یا افزایش دمای غیرمجاز، می‌توانند Power Throttling را فعال کنند.

۳. تخصیص انعطاف‌پذیر Laneها

در سرورهای سازمانی، تخصیص Laneهای PCIe دیگر ثابت نیست و به صورت پویا مدیریت می‌شود.

• Bifurcation: بایوس (BIOS) سرور می‌تواند Laneهای یک اسلات x16 را تقسیم (Bifurcate) کند (مثلاً به دو اسلات x8 یا چهار اسلات x4) تا بتواند دو NVMe یا چند کارت شبکه را روی یک اسلات فیزیکی نصب کرد.
• وابستگی به CPU: تعداد کل Laneهای PCIe قابل استفاده مستقیماً به مدل CPU (Intel Xeon/AMD EPYC) و پشتیبانی مادربرد بستگی دارد. حداکثر تعداد Laneها بین CPU و چیپ‌ست، تعیین‌کننده اصلی ظرفیت توسعه پذیری سرور است.

جدیدترین معماری‌ها از Dynamic Lane Bifurcation پشتیبانی می‌کنند که می‌تواند بر اساس نیاز Workload در لحظه، تخصیص Lane را تغییر دهد. همچنین، مفهوم PCIe Hot-Plug اهمیت بیشتری پیدا می‌کند؛ به این معنا که کارت‌های توسعه می‌توانند بدون نیاز به خاموش شدن سیستم، اضافه یا حذف شوند، و این فرآیند توسط مدیریت Laneهای PCIe در سطح نرم‌افزار (OS) و سخت‌افزار (Chipset) پشتیبانی می‌شود.

خلاصه و نتیجه‌گیری

تکامل گذرگاه PCIe از Gen 3 تا Gen 7 نه تنها یک روند خطی افزایش سرعت نیست، بلکه یک تحول مهندسی است که پایداری، راندمان سیگنال‌دهی و مدیریت توان را بهبود بخشیده است. مهاجرت به PCIe Gen 5 و بالاتر برای هر سازمان که قصد پیاده‌سازی Workloadهای AI Training، حافظه فلش پرسرعت (NVMe) یا شبکه‌بندی ۴۰۰G/۸۰۰G را دارد، ضروری است. در غیر این صورت، کارت‌های گران‌قیمت پرسرعت دچار گلوگاه پهنای باند خواهند شد.
در نهایت، موفقیت در به کارگیری جدیدترین نسل‌های PCIe به انتخاب سخت‌افزار مناسب (سرور، CPU و کارت‌های توسعه) و همچنین استفاده از قطعات با کیفیت (مانند رایزر کارت‌ها و کابل‌های پرسرعت) بستگی دارد. ساپراصنعت با تمرکز بر این جزئیات فنی دقیق، اطمینان می‌دهد که زیرساخت‌های سروری که تأمین می‌کند، به طور کامل از توان عملیاتی مورد نیاز شما برای سال‌های آینده پشتیبانی می‌کنند.