INKLING: مدل آزاد ۹۷۵ میلیارد پارامتری Thinking Machines

INKLING: مدل آزاد ۹۷۵ میلیارد پارامتری Thinking Machines Lab

معرفی نخستین مدل متن‌باز شرکت میرا موراتی

Thinking Machines Lab، شرکت تازه‌تأسیس میرا موراتی مدیر اسبق OpenAI، از مدل زبانی جدید خود با نام Inkling رونمایی کرد. این مدل با ۹۷۵ میلیارد پارامتر، یکی از بزرگ‌ترین مدل‌های متن‌بازی است که تاکنون عرضه شده است. Inkling بر معماری Mixture-of-Experts (MoE) استوار است و از آنجا که تنها ۴۱ میلیارد پارامتر برای هر وظیفه به‌صورت هم‌زمان فعال می‌شود، بهره‌وری محاسباتی قابل‌توجهی ارائه می‌دهد. این طراحی به توسعه‌دهندگان امکان می‌دهد بدون نیاز به زیرساخت‌های فوق‌العاده سنگین، از مدلی با ظرفیت‌های بسیار بالا بهره ببرند.

آموزش چندوجهی با ۴۵ تریلیون توکن

Inkling روی مجموعه‌ای عظیم از ۴۵ تریلیون توکن آموزش دیده است که شامل متن، تصویر، صدا و ویدیو می‌شود. این تنوع داده‌ای به مدل توانایی درک و پردازش چندوجهی می‌بخشد و آن را برای طیف وسیعی از کاربردها، از تولید متن تا تحلیل چندرسانه‌ای، مناسب می‌سازد. وزن‌های این مدل به‌صورت آزاد منتشر شده و هر توسعه‌دهنده‌ای می‌تواند آن را دانلود و استفاده کند. در آزمون‌های کدنویسی، Inkling از مدل Nemotron شرکت Nvidia با یک‌سوم تعداد توکن به نتایج رقابتی دست یافته است که نشان‌دهنده کارایی بالای آن در پردازش کدها است.

راهبرد متفاوت در رقابت با مدل‌های همه‌کاره

موراتی و تیمش در Thinking Machines Lab به‌صراحت اعلام کرده‌اند که Inkling را به‌عنوان قوی‌ترین مدل جهان معرفی نمی‌کنند. در عوض، استراتژی این شرکت بر تولید مدل‌های سازگار، قابل تنظیم و متن‌بازی متمرکز است که بتوانند نیازهای متنوع کاربران را برآورده سازند. این رویکرد در تقابل آشکار با مدل‌های بسته و همه‌کاره‌ای قرار دارد که اکثر شرکت‌های بزرگ فناوری دنبال می‌کنند. موراتی با این انتخاب، شرط بزرگی روی آینده مدل‌های قابل انطباق و باز گذاشته است و قصد دارد نشان دهد مسیر دیگری نیز برای توسعه هوش مصنوعی وجود دارد.

منبع: TechCrunch

منبع: منبع اصلی