جهش ایجنت LangChain از رتبه ۳۰ به ۵ با Harness Engineering | درس مهم برای آموزش هوش مصنوعی

ایجنت کدنویسی LangChain تنها با تغییر در Harness توانست از جمع ۳۰ مدل برتر به رتبه ۵ در Terminal Bench 2.0 برسد. در این مطلب، رویکرد تیم توسعه برای Harness Engineering بررسی می‌شود. هدف Harness این است که هوشمندی خام مدل را برای انجام وظایف مورد نظر شکل دهد. استفاده از Self-Verification و تحلیل Trace نقش بسیار مهمی در این پیشرفت داشته است.

این تجربه نشان می‌دهد که در مسیر آموزش هوش مصنوعی و توسعه ایجنت‌های پیشرفته، همیشه افزایش اندازه مدل راه‌حل نیست؛ بلکه طراحی درست سیستم پیرامون مدل می‌تواند تفاوتی اساسی ایجاد کند.

Harness Engineering چیست و چرا در آموزش هوش مصنوعی مهم است؟

Harness به مجموعه ابزارها و سازوکارهایی گفته می‌شود که پیرامون مدل ساخته می‌شود تا عملکرد آن را برای یک هدف مشخص بهینه کند. این لایه شامل موارد زیر است:

• System Prompt

• ابزارها (Tools)

• Middleware یا Hookها

• مدیریت حافظه

• نحوه اجرای چرخه تصمیم‌گیری ایجنت

در Harness Engineering تمرکز روی «سیستم‌سازی» است، نه تغییر مدل. به بیان ساده، شما هوش مدل را برای مسئله‌ای که اهمیت دارد شکل می‌دهید.

در این آزمایش، مدل gpt-5.2-codex بدون تغییر باقی ماند، اما با بازطراحی Harness امتیاز ایجنت از 52.8 درصد به 66.5 درصد افزایش یافت؛ جهشی که آن را به جمع ۵ مدل برتر رساند.

Terminal Bench 2.0؛ معیار سنجش ایجنت‌های کدنویسی

Terminal Bench 2.0 یکی از بنچمارک‌های استاندارد برای ارزیابی ایجنت‌های کدنویسی است. این مجموعه شامل ۸۹ تسک در حوزه‌هایی مانند:

• یادگیری ماشین

• دیباگ و رفع باگ

• زیست‌شناسی محاسباتی

این بنچمارک دارای محدودیت زمانی، محیط سندباکس و سیستم ارزیابی خودکار است. بنابراین معیار مناسبی برای سنجش توانایی واقعی ایجنت‌ها در شرایط نزدیک به دنیای واقعی محسوب می‌شود.

نقش Trace و تحلیل خطا در بهبود عملکرد

یکی از مهم‌ترین عوامل پیشرفت این ایجنت، استفاده گسترده از Tracing بود. تمام اکشن‌های ایجنت ثبت شدند و مواردی مانند:

• میزان مصرف توکن

• تأخیر پاسخ

• هزینه اجرا

• مراحل تصمیم‌گیری

مورد بررسی قرار گرفتند.

تحلیل این داده‌ها نشان داد که ایجنت در چه بخش‌هایی دچار مشکل می‌شود، از جمله:

• خطاهای استدلالی

• عدم اجرای تست

• تفسیر اشتباه مشخصات تسک

• گیر افتادن در حلقه‌های تکراری

• مدیریت نادرست زمان

این رویکرد یک درس کلیدی برای آموزش هوش مصنوعی است: بدون مشاهده دقیق رفتار مدل، بهبود واقعی امکان‌پذیر نیست.

Self-Verification؛ عامل اصلی جهش عملکرد

یکی از رایج‌ترین الگوهای شکست این بود که ایجنت پس از نوشتن کد، تنها با بازخوانی آن، کار را تمام‌شده تلقی می‌کرد. در حالی که تست و اعتبارسنجی بخش جدایی‌ناپذیر کدنویسی حرفه‌ای است.

برای رفع این مشکل، چرخه‌ای چهارمرحله‌ای به System Prompt اضافه شد:

1. برنامه‌ریزی و تحلیل مسئله

2. پیاده‌سازی همراه با طراحی تست

3. اجرای تست و مقایسه با مشخصات اصلی

4. اصلاح و بازگشت به مشخصات

همچنین Middlewareای طراحی شد که پیش از خروج ایجنت، آن را مجبور به اجرای مرحله تأیید نهایی می‌کرد.

در حوزه آموزش هوش مصنوعی، این نشان می‌دهد که هدایت مدل به سمت بازبینی انتقادی خروجی خود، یکی از قدرتمندترین ابزارهای بهبود عملکرد است.

تزریق کانتکست محیطی؛ کاهش خطاهای جستجو

بخش دیگری از بهینه‌سازی Harness شامل آماده‌سازی کانتکست محیطی بود:

• شناسایی ساختار دایرکتوری

• کشف ابزارهای نصب‌شده

• هشدار درباره محدودیت زمانی

ایجنت‌ها در محیط‌های ناشناخته به‌راحتی دچار خطا می‌شوند. تزریق ساختاریافته کانتکست باعث کاهش خطاهای برنامه‌ریزی و جستجو شد.

جلوگیری از حلقه‌های بن‌بست

در برخی اجراها مشاهده شد که ایجنت بارها یک فایل را ویرایش می‌کند اما همچنان در مسیر اشتباه حرکت می‌کند.

برای حل این مشکل، مکانیزمی اضافه شد که پس از چندین ویرایش متوالی، ایجنت را به بازنگری کامل در رویکرد خود تشویق می‌کرد. این اقدام ساده از بسیاری از شکست‌ها جلوگیری کرد.

مدیریت هوشمند بودجه استدلال

مدل مورد استفاده دارای چند سطح استدلال بود. استفاده دائمی از بالاترین سطح استدلال باعث افزایش مصرف توکن و اتمام زمان می‌شد.

راه‌حل انتخاب‌شده یک الگوی سه‌مرحله‌ای بود:

• استدلال بالا برای برنامه‌ریزی

• استدلال متوسط برای اجرا

• استدلال بالا برای مرحله نهایی تأیید

این تعادل بین دقت و کارایی، امتیاز نهایی را به 66.5 درصد رساند.

درس‌های مهم برای آموزش هوش مصنوعی و توسعه ایجنت‌ها

از این آزمایش می‌توان چند اصل مهم استخراج کرد:

• همیشه قبل از تغییر مدل، سیستم اطراف آن را بهینه کنید.

• Self-Verification را به بخش اجباری چرخه ایجنت تبدیل کنید.

• از Trace به‌عنوان ابزار اصلی بازخورد استفاده کنید.

• برای جلوگیری از الگوهای خطا، Guardrail طراحی کنید.

• Harness را متناسب با مدل انتخابی تنظیم کنید.

در مسیر آموزش هوش مصنوعی و ساخت ایجنت‌های خودکار، مهندسی Harness به‌سرعت در حال تبدیل شدن به یک مهارت کلیدی است.

جهش ایجنت LangChain از رتبه ۳۰ به ۵ تنها با تغییر Harness نشان می‌دهد که آینده سیستم‌های مبتنی بر مدل‌های زبانی در «طراحی سیستم» نهفته است، نه صرفاً افزایش اندازه مدل.

برای فعالان حوزه آموزش هوش مصنوعی، این تجربه یک پیام روشن دارد:
اگر می‌خواهید ایجنت‌های قدرتمند بسازید، باید روی مهندسی Harness، تحلیل Trace و تقویت چرخه Self-Verification تمرکز کنید.

منبع