مطالعه‌ای که توسط محققان دانشگاه براون با همکاری چندین دانشگاه چینی انجام شد، قابلیت‌های چت ربات‌های هوش مصنوعی را در تسریع فرآیند توسعه نرم‌افزار با هزینه‌های قابل توجهی بررسی کرد. چت بات ها، مجهز به مدل های زبانی پیشرفته، کارایی قابل توجه خود را در نظارت بر یک شرکت نرم افزاری با کمترین مشارکت انسانی به نمایش گذاشته اند. آنها کل فرآیند توسعه نرم افزار را در کمتر از هفت دقیقه با موفقیت به پایان رساندند و کل هزینه متحمل شده کمتر از یک دلار بود.
در این آزمایش، محققان یک چت بات فرضی به نام “ChatDev” را معرفی کردند که به مدل ۳.۵ ChatGPT برای شبیه سازی یک شرکت توسعه نرم افزار مجهز شده بود.
این آزمایش از مدل سنتی آبشار پیروی می کرد که شامل چهار مرحله متوالی بود: طراحی، کدگذاری، آزمایش و مستندسازی. در این مراحل به هر ربات هوش مصنوعی نقش های خاصی اختصاص داده شد.
در طول هر مرحله، ربات‌های هوش مصنوعی با کمترین مداخله انسانی همکاری می‌کردند و برای تکمیل جنبه‌های مختلف فرآیند توسعه نرم‌افزار، در مکالمه شرکت می‌کردند. این از تصمیم گیری در مورد زبان برنامه نویسی گرفته تا شناسایی و رفع اشکالات در کد تا زمانی که پروژه نرم افزاری به طور کامل محقق شد، متغیر بود.
محققان به این نتیجه رسیدند که نتایج تجربی آنها به وضوح “کارایی و مقرون به صرفه بودن” استفاده از فرآیند توسعه نرم افزار خودکار که توسط ChatDev هدایت می شود را نشان می دهد.
مقاله تحقیقاتی می گوید که در طول آزمایش، ChatDev در مجموع ۷۰ کار را با موفقیت انجام داد و به طور مداوم نتایج برجسته ای را ارائه کرد. این شرکت مجهز به هوش مصنوعی با توسعه نرم افزاری با هزینه کمتر از یک دلار در کمتر از هفت دقیقه، کارایی و مقرون به صرفه بودن قابل توجه خود را نشان داد. ۸۶.۶۶ درصد از سیستم های نرم افزاری تولید شده بی عیب و نقص عمل می کردند.
با این حال، این مطالعه نواقص خود را داشت. محققان محدودیت هایی از جمله خطاها و سوگیری ها را در مدل های زبان شناسایی کردند که به طور بالقوه می تواند منجر به مشکلاتی در ایجاد نرم افزار شود. با این وجود، محققان بر این باورند که این یافته‌ها می‌توانند کاربردهای عملی داشته باشند و به طور بالقوه به برنامه‌نویسان یا مهندسان جوان در سناریوهای دنیای واقعی کمک کنند.
