وقتی از حافظهٔ یک عامل هوش مصنوعی حرف میزنیم، معمولاً میپرسیم چه چیزی را به یاد میآورد. اما در کار واقعی سؤال مهمتر این است: آیا تاریخچهٔ مرتبط کمک میکند وظیفه را بهتر انجام دهد؟ و این کمک چه هزینهای از نظر زمان و محاسبه دارد؟
DolphinBench برای بررسی این مسئله از تاریخچههای طولانی و چند شخصیت شبیهسازیشده استفاده میکند و کارها را با دسترسی به تاریخچهٔ مرتبط و بدون آن مقایسه میکند. این طراحی از آزمونهای سادهٔ پرسشوپاسخ دربارهٔ یادآوری جلوتر میرود، چون عملکرد و هزینه را کنار هم میگذارد.
بااینحال، بنچمارک هنوز جای استفادهٔ واقعی را نمیگیرد. نتیجه به شخصیتها، کارها و نحوهٔ ساخت تاریخچه وابسته است. برای محصول، من علاوه بر دقت، به این هم نگاه میکنم که حافظه چه چیزهایی را نگه میدارد، چطور حذف میشود و آیا کاربر میتواند آن را اصلاح کند.