HBM چیست؟ چرا حافظه پهن‌باند برای هوش مصنوعی مهم است؟

HBM مخفف High Bandwidth Memory یا حافظهٔ پهن‌باند بالا است. این حافظه برای جابه‌جایی حجم بسیار بزرگی از داده میان واحدهای محاسباتی و حافظه طراحی شده است. برخلاف ماژول‌های معمول که با فاصله روی برد قرار می‌گیرند، چند لایهٔ حافظه در HBM روی هم انباشته می‌شوند و در کنار پردازندهٔ گرافیکی، روی بستری به نام اینترپوزر قرار می‌گیرند. هزاران مسیر ارتباطی کوتاه و عریض، داده را با سرعت زیاد و انرژی کمتر به GPU می‌رسانند.

نام HBM گاهی فقط به‌عنوان یک مشخصهٔ گران‌قیمت در خبر تراشه‌ها دیده می‌شود، اما نقش آن بنیادی است. یک GPU می‌تواند هزاران واحد محاسباتی داشته باشد؛ اگر وزن‌های مدل و دادهٔ ورودی به‌موقع نرسند، بخشی از این واحدها بیکار می‌مانند. مانند آشپزخانه‌ای با صدها آشپز و یک در باریک برای تحویل مواد، مشکل دیگر تعداد نیروی کار نیست. HBM آن در باریک را به مجموعه‌ای از مسیرهای بسیار عریض تبدیل می‌کند تا توان محاسباتی واقعاً قابل استفاده شود.

لایه‌های DRAM در یک پشته با اتصال‌های عمودی بسیار ریز، موسوم به TSV، به یکدیگر متصل می‌شوند. پشته‌ها کنار GPU روی اینترپوزر سیلیکونی قرار می‌گیرند. نزدیکی فیزیکی و رابط بسیار عریض باعث می‌شود برای رسیدن به پهنای باند بالا لازم نباشد سیگنال‌ها با فرکانس افراطی روی مسیرهای بلند حرکت کنند. نتیجه، انتقال دادهٔ فراوان با انرژی بهتر به ازای هر بیت است؛ ویژگی مهمی در دیتاسنتری که هزاران شتاب‌دهنده هم‌زمان برق و خنک‌کاری می‌خواهند.

این طراحی آسان یا ارزان نیست. ساخت لایه‌های سالم، سوراخ‌های عمودی، اینترپوزر بزرگ و مونتاژ دقیق نیازمند زنجیرهٔ تولید پیشرفته است. خرابی یک بخش می‌تواند ارزش کل بستهٔ گران‌قیمت را کاهش دهد. خنک‌کردن پشته‌ها و کنترل تنش حرارتی نیز دشوار است. به همین دلیل HBM فقط یک تراشهٔ حافظه نیست؛ بخشی از مهندسی بسته‌بندی پیشرفته است و ظرفیت تولید آن می‌تواند سرعت عرضهٔ شتاب‌دهنده‌های AI را محدود کند.

آموزش مدل، بارها وزن‌ها، فعال‌سازی‌ها و گرادیان‌ها را میان حافظه و واحدهای محاسباتی جابه‌جا می‌کند. در استنتاج نیز مدل باید وزن‌های خود را بخواند و برای درخواست‌های متعدد، وضعیت و کش را نگه دارد. هرچه مدل و پنجرهٔ زمینه بزرگ‌تر باشد، فشار روی ظرفیت و پهنای باند بیشتر می‌شود. اگر داده دیر برسد، افزایش تعداد هسته‌ها الزاماً سرعت را بالا نمی‌برد؛ تراشه وارد وضعیتی می‌شود که محدودیت حافظه تعیین‌کننده است.

دو عدد را باید جدا دید: ظرفیت می‌گوید چه مقدار مدل و زمینه در حافظه جا می‌شود؛ پهنای باند می‌گوید آن داده با چه سرعتی قابل خواندن و نوشتن است. ظرفیت بیشتر می‌تواند مدل بزرگ‌تر یا درخواست‌های هم‌زمان بیشتری را نگه دارد. پهنای باند بیشتر زمان انتظار واحدهای محاسباتی را کم می‌کند. یک سامانهٔ استنتاج خوب به هر دو و همچنین نرم‌افزاری نیاز دارد که داده را هوشمندانه زمان‌بندی و میان چند GPU تقسیم کند.

GDDR حافظهٔ سریع و موفق کارت‌های گرافیک مصرفی است. تراشه‌های آن معمولاً دور GPU روی برد قرار می‌گیرند و از رابط‌های باریک‌تر با سرعت سیگنال بالا استفاده می‌کنند. این طراحی هزینه و پیچیدگی بسته‌بندی کمتری دارد و برای بازی و بسیاری از ایستگاه‌های کاری عالی است. HBM با پشته‌سازی و رابط بسیار عریض، پهنای باند مجموع و بهره‌وری انرژی بالاتری را در فضای نزدیک پردازنده فراهم می‌کند، اما ساخت آن پیچیده‌تر و گران‌تر است.

بنابراین HBM لزوماً جایگزین همهٔ حافظه‌های گرافیکی نمی‌شود. یک لپ‌تاپ یا کارت بازی باید قیمت، ظرفیت، برد و تعمیرپذیری را متعادل کند. شتاب‌دهندهٔ دیتاسنتر که ساعت‌ها مدل عظیم را اجرا می‌کند، می‌تواند هزینهٔ HBM را با توان عملیاتی و صرفه‌جویی انرژی توجیه کند. انتخاب حافظه تابع محصول است. دیدن HBM روی یک تراشه نشانهٔ تمرکز بر بارهای پهنای‌باند‌محور است، نه ضمانت اینکه آن تراشه در هر برنامه‌ای سریع‌تر خواهد بود.

نسل‌ها ظرفیت، سرعت و طراحی رابط را جلو می‌برند. NVIDIA برای H200 ظرفیت ۱۴۱ گیگابایت HBM3e و پهنای باند ۴٫۸ ترابایت‌برثانیه اعلام کرده است. در خانوادهٔ Blackwell، سامانه‌های جدید به پهنای باند تا ۸ ترابایت‌برثانیه و در B300 به ظرفیت ۲۸۸ گیگابایت HBM3e می‌رسند. این اعداد نشان می‌دهند حافظه دیگر یک ضمیمهٔ ثانویه نیست؛ بخشی از مشخصات اصلی شتاب‌دهنده است که روی اندازهٔ مدل و نرخ سرویس اثر مستقیم دارد.

معماری Rubin مسیر HBM4 را جلو می‌برد. NVIDIA می‌گوید رابط HBM4 نسبت به HBM3e دو برابر عریض می‌شود و GPU Rubin می‌تواند تا ۲۲ ترابایت‌برثانیه پهنای باند و ۲۸۸ گیگابایت ظرفیت داشته باشد؛ حدود ۲٫۸ برابر پهنای باند Blackwell. این‌ها مشخصات اعلامی برای نسل آینده‌اند، نه نتیجهٔ مستقل همهٔ کاربردها. ارزش واقعی به نرم‌افزار، اتصال میان GPUها، توان، خنک‌کاری و میزان استفادهٔ عملی از پهنای باند وابسته خواهد بود.

رشد سریع دیتاسنترهای AI تقاضا برای حافظهٔ پشته‌ای و بسته‌بندی پیشرفته را بالا برده است. تولیدکننده باید نه‌فقط ویفر حافظه، بلکه پشتهٔ سالم، اتصال عمودی، اینترپوزر و آزمون نهایی را با بازده بالا تحویل دهد. افزایش ظرفیت یک کارخانه زمان و سرمایه می‌خواهد. اگر HBM یا مرحلهٔ بسته‌بندی کم باشد، تولید GPU کامل محدود می‌شود حتی وقتی خود قالب پردازنده آماده است. به همین دلیل خبر قراردادهای تأمین حافظه می‌تواند به اندازهٔ معرفی معماری جدید مهم باشد.

برای خریدار سازمانی، قیمت GPU تنها عدد مهم نیست. ظرفیت HBM روی تعداد شتاب‌دهندهٔ لازم، روش تقسیم مدل، توان مصرفی و هزینهٔ سرویس هر درخواست اثر می‌گذارد. یک تراشهٔ گران‌تر با حافظهٔ کافی ممکن است نیاز به ارتباط پیچیده میان چند GPU را کم کند. در مقابل، خرید ظرفیت بسیار بیشتر از نیاز می‌تواند سرمایه را قفل کند. برنامه‌ریزی باید از اندازهٔ مدل، طول زمینه، تعداد کاربر هم‌زمان و هدف تأخیر شروع شود، نه از جذاب‌ترین مشخصات بروشور.

پهنای باند عظیم زمانی ارزش دارد که واحدهای محاسباتی، شبکه و نرم‌افزار بتوانند از آن استفاده کنند. در یک خوشه، داده باید میان GPUها و سرورها جابه‌جا شود؛ شبکهٔ کند می‌تواند گلوگاه جدید بسازد. زمان‌بندی ضعیف، دسته‌بندی نامناسب درخواست‌ها یا مدل بهینه‌نشده نیز حافظه را هدر می‌دهد. گاهی کم‌کردن دقت عددی، فشرده‌سازی مدل، کش بهتر یا معماری نرم‌افزار اثر اقتصادی بیشتری از خرید سریع‌ترین سخت‌افزار دارد.

مصرف برق و دفع گرما نیز باقی می‌ماند. HBM از نظر انرژی به ازای هر بیت مزیت دارد، اما کل شتاب‌دهنده‌های قدرتمند همچنان بار بزرگی برای دیتاسنتر هستند. طراحی رک، خنک‌کاری مایع، شبکه و منبع برق باید همراه تراشه برنامه‌ریزی شود. سازمانی که فقط تعداد GPU را می‌شمارد ممکن است بعداً با محدودیت برق یا ظرفیت شبکه روبه‌رو شود. زیرساخت AI یک سیستم است و حافظه یکی از حیاتی‌ترین اجزای آن است، نه تنها جزء آن.

هنگام مقایسهٔ شتاب‌دهنده‌ها، ظرفیت HBM، پهنای باند، نوع نسل، اتصال میان تراشه‌ها و بار واقعی خود را کنار هم ببینید. برای مدل بزرگ، ظرفیت می‌تواند تعیین کند کار روی یک GPU جا می‌شود یا نه. برای استنتاج پرتعداد، پهنای باند می‌تواند نرخ توکن و تعداد درخواست را محدود کند. اما نتیجهٔ نهایی باید با بنچمارک همان مدل، همان دقت و همان طول زمینه سنجیده شود. عدد بزرگ بدون سناریوی آزمون، تصمیم خرید نیست.

مشخصات نمونه در مستندات رسمی NVIDIA برای HGX و معرفی Rubin قابل بررسی است. مستند HGX اعداد H200، B200 و B300 را فهرست می‌کند و مطلب Rubin تغییر رابط HBM4 را توضیح می‌دهد: https://docs.nvidia.com/enterprise-reference-architectures/hgx-ai-factory/latest/components.html و https://developer.nvidia.com/blog/inside-the-nvidia-rubin-platform-six-new-chips-one-ai-supercomputer/