اجرای مدل‌های AI به یک بازی حافظه تبدیل شده است

وقتی از هزینه زیرساخت هوش مصنوعی صحبت می‌کنیم، تمرکز معمولاً روی Nvidia و GPU است، اما حافظه نقش مهم‌تری پیدا کرده است. همزمان با آماده‌سازی ابرشرکت‌ها برای ساخت میلیاردها دلار مرکز داده جدید، قیمت تراشه‌های DRAM در سال گذشته حدود ۷ برابر شده است.

در عین حال، مدیریت حافظه اهمیت بیشتری پیدا کرده است. شرکت‌هایی که این کار را خوب انجام دهند، می‌توانند با توکن‌های کمتری همان پرسش‌ها را انجام دهند.

پیچیدگی حافظه کش

وال برکوویچ، مدیر ارشد AI در ویکا، در مورد پیچیدگی رو به رشد مستندات prompt-caching anthropicصحبت می‌کند:

صفحه قیمت‌گذاری prompt caching anthropic. شش یا هفت ماه پیش که بسیار ساده بود، حالا به یک دانشنامه تبدیل شده. شما می‌توانید برای پنج دقیقه یا یک ساعت پنجره کش بخرید. هرچه داده بیشتری به پرسش اضافه کنید، چیز دیگری از پنجره کش خارج می‌شود.

آینده مدیریت حافظه

مدیریت حافظه در مدل‌های AI بخش بزرگی از آینده این فناوری خواهد بود. شرکت‌هایی که این کار را خوب انجام دهند، به بالا صعود خواهند کرد.

همزمان با بهتر شدن مدیریت حافظه، شرکت‌ها توکن کمتری استفاده می‌کنند و استنتاج ارزان‌تر می‌شود. با کاهش هزینه سرورها، بسیاری از برنامه‌هایی که الان سودآور نیستند، شروع به سوددهی خواهند کرد.

منبع: TechCrunch