TOWARDS ARTIFICIAL INTELLIGENCE BASED ASSESSMENT SYSTEMS
Abdulxayeva G.M.
Sharda University
Abstract
Abstract: Decades of research have shown that knowledge and understanding cannot be rigorously evaluated through a series of 90-minute exams. The prevailing exam paradigm is stressful, unpleasant, can turn students away from education, and requires that both students and teachers take time away from learning. And yet we persist globally to rely on these blunt instruments, sending students off to universities and the workplace ill-equipped for their futures. Perhaps one reason for the long-lasting persistence of ‘stop and test’ forms of assessment is that the alternatives available so far have been unattractive and equally, or even more, unreliable than current examination systems. For example, within the school education system, marks from work that students complete as part of their course has formed part, or all, of their exam result. Fears about the extent to which such coursework is truly the sole work of the student has reduced the attractiveness of this option and we have moved back towards exams. In higher education, ‘open book exams’ have been used to reduce the pressure on students to remember lots of information. This type of approach can help, but it tackles only a small part of the overall problem, in this case, the pressure on memory. Other stressful and unreliable features remain, such as the exam conditions, the very limited range of the assessment, and the accuracy of marking. However, the situation is now different and a realistic and economically attractive alternative lies at our fingertips. We have the technology to build a superior assessment system one based on artificial intelligence (AI) but we now need to see if we have the social and moral appetite to disrupt tradition.
Keywords: AI; online assessment; traditional assessment; accuracy of marking; communication protocol
Annotatsiya. O‘nlab yillar davomida olib borilgan tadqiqotlar shuni ko‘rsatdiki, bilim va tushunchani 90 daqiqalik imtihonlar seriyasi orqali qat'iy baholab bo‘lmaydi. Mavjud imtihon paradigmasi stressli, yoqimsiz, talabalarni ta'limdan uzoqlashtirishi mumkin va talabalar ham, o‘qituvchilar ham o‘qishdan vaqt ajratishni talab qiladi. Shunga qaramay, biz butun dunyo bo‘ylab ushbu qo‘pol vositalarga tayanishda davom etamiz, bu esa talabalarni universitetlarga va ish joylariga kelajaklari uchun yetarli darajada jihozlanmagan holda jo‘natishga majbur qiladi. Ehtimol, "to‘xtating va sinab ko‘ring" baholash shakllarining uzoq vaqt saqlanib qolishining bir sababi shundaki, hozirgacha mavjud bo‘lgan alternativalar jozibador emas va hozirgi imtihon tizimlariga qaraganda teng darajada yoki undan ham ishonchsizroq bo‘lgan. Masalan, maktab ta'limi tizimida talabalar o‘z kurslarining bir qismi sifatida bajargan ishlaridan olgan baholari imtihon natijalarining bir qismini yoki barchasini tashkil qiladi. Bunday kurs ishlari haqiqatan ham talabaning yagona ishi ekanligi haqidagi qo‘rquv bu variantning jozibadorligini pasaytirdi va biz imtihonlarga qaytdik. Oliy ta'limda talabalarga ko‘p ma'lumotni eslab qolish bosimini kamaytirish uchun "ochiq kitob imtihonlari" qo‘llanilgan. Bu turdagi yondashuv yordam berishi mumkin, ammo u umumiy muammoning faqat kichik bir qismini, bu holda xotiraga bosimni hal qiladi. Imtihon sharoitlari, baholashning juda cheklangan doirasi va baholashning aniqligi kabi boshqa stressli va ishonchsiz xususiyatlar saqlanib qolmoqda. Biroq, endi vaziyat boshqacha va realistik va iqtisodiy jihatdan jozibador alternativa bizning qo‘limizda. Bizda sun'iy intellekt (AI) asosida yuqori darajadagi baholash tizimini yaratish texnologiyasi mavjud, ammo endi biz an'analarni buzish uchun ijtimoiy va axloqiy ishtahaga ega ekanligimizni ko‘rishimiz kerak.
Kalit so‘zlar: AI; onlayn baholash; an'anaviy baholash; baholashning aniqligi; aloqa protokoli
Аннотация: Десятилетия исследований показали, что знания и понимание невозможно строго оценить с помощью серии 90-минутных экзаменов. Преобладающая парадигма экзаменов стрессовая, неприятная, может оттолкнуть студентов от образования и требует, чтобы как студенты, так и преподаватели отвлекались от обучения. И тем не менее, мы во всем мире продолжаем полагаться на эти грубые инструменты, отправляя студентов в университеты и на работу плохо подготовленными к своему будущему. Возможно, одной из причин долгого сохранения форм оценки типа «остановись и проверь» является то, что доступные до сих пор альтернативы были непривлекательными и столь же, а то и более, ненадежными, чем существующие системы экзаменов. Например, в школьной системе оценки за работы, которые студенты выполняют в рамках курса, составляли часть или весь результат экзамена. Опасения по поводу того, насколько такая курсовая работа действительно является исключительной работой студента, снизили привлекательность этого варианта, и мы вернулись к экзаменам. В высшем образовании используются «экзамены с открытой книгой», чтобы уменьшить давление на студентов, заставляющее их запоминать большой объем информации. Такой подход может помочь, но он решает лишь небольшую часть общей проблемы, в данном случае — проблему перегрузки памяти. Остаются и другие стрессовые и ненадежные факторы, такие как условия экзамена, очень ограниченный диапазон оценивания и точность выставления оценок. Однако ситуация изменилась, и у нас под рукой есть реалистичная и экономически привлекательная альтернатива. У нас есть технологии для создания превосходной системы оценивания на основе искусственного интеллекта (ИИ), но теперь нам нужно понять, хватит ли у нас социального и морального желания разрушить традиции.
Ключевые слова: ИИ; онлайн-оценивание; традиционное оценивание; точность выставления оценок; протокол связи
References
1. Luckin, R., Holmes, W., Griffiths, M. & Forcier, L. B. Intelligence Unleashed: An Argument for AI in Education (Pearson, 2016); http://go.nature.com/2jwF0zx
2. Bostrom, N. & Yudkowsky, E. in Cambridge Handbook of Artificial Intelligence (eds Frankish, K. & Ransey, W. M.) 316–334 (Cambridge Univ. Press, 2011).
3. Self, J. Int. J. Artif. Intell. Educ. 10, 350–364 (1999).
4. Hill, P. & Barber, M. Preparing for a Renaissance in Assessment (Pearson, 2014).
5. Mavrikis, M. Int. J. Artif. Intell. Tools 19, 733–753 (2010).
6. Luckin, R. & du Boulay, B. Int. J. Artif. Intell. Educ. 26, 416–430 (2016).
7. Bull, S. & Kay, J. Int. J. Artif. Intell. Educ. 17, 89–120 (2007).
8. Spector, M. & Ramsey, M. U.S. proposes spending $4 billion to encourage driverless cars. The Wall Street Journal (14 January 2016); http://go.nature.com/2jZePEM
