عندما يتعلّق الأمر بقدرات الذكاء الاصطناعي ففي معظم الأحيان يكون النظام الذكي منافساً للبشر في الألعاب ويتم قياس الأداء بناءً على نتيجة هذه المنافسة داخل اللعبة ولدينا أمثلة كثيرة على هذا النوع من المنافسات ولعلّ أشهرها لعبة Go حيث تمكّنت الخوارزمية الذكية AlphaGo من هزيمة أحد أفضل اللاعبين سابقاً ولكن الآن تعمل شركة DeepMind على قياس أداء الأنظمة الذكية بطريقة أخرى وهي حل المشاكل البرمجية أي قيام الخوارزمية الذكية بحل المشاكل البرمجية المتوفّرة على مواقع مثل Code forces وقياس الأداء العام ومعرفة ما إذا كانت هذه الخوارزميات قادرة على التفوّق على البشر أو ما هي الإمكانيات المحتملة ضمن هذا القطّاع.
بعد اختبار الخوارزمية الجديدة AlphaCode فقد تبيّن أنّ النتيجة ليست مذهلة كما هو متوقع وذلك لأنّ الأداء الذي قدّمته الخوارزمية يتوافق مع أداء مبرمج لديه خبرة عام واحد من التدريب على حل هذه المشاكل البرمجية ولكن وعلى الرغم من أنّ النتيجة النهائية ليست مذهلة تماماً إلّا أنّ الآلة قد تمكّنت من توليد عشرة حلول لكل مشكلة وقد تم قبول الحل لمعظم المشاكل التي قامت الخوارزمية بحلّها من أوّل تجربة.
بالمقارنة مع النماذج الذكية السابقة الخاصّة بالألعاب فإنّ AlphaCode لا يبدو جيداً بما فيه الكفاية ولكن في المقابل فإنّ المسابقات البرمجية عادةً ما تكون أكثر تعقيداً أي أنّ النتائج بالنظر إلى مدى صعوبة وتعقيد هذه الأسئلة تبدو معقولة إلى حد ما وبحسب الشركة فإنّ النتائج التي تم تحقيقها تعتبر أفضل من النماذج الأخرى المماثلة التي تم اختبارها في كتابة التعليمات البرمجية وذلك لأنّ AlphaCode لا يعتبر النموذج الوحيد الذي يتم استخدامه في هذا المجال حيث تملك شركة GitHub نموذج ذكي باسم Capilot ولم يقدّم أداءً مثيراً للإعجاب عند حل المشكلات البرمجية، وقد صرّحت الشركة بأنّ الأداء الحالي ما هو إلّا البداية أي أنّ الشركة ستعمل على تطوير النموذج الخاص بها في المستقبل.