Transformasi digital telah meningkatkan kebergantungan sesebuah organisasi kepada perisian atau sistem aplikasi untuk menyokong perkhidmatan yang diberikan¹. Organisasi sektor awam mula memberikan fokus kepada pengujian perisian secara cekap dan berkesan sebagai komponen penting dalam proses pembangunan perisian. Aktiviti pengujian merupakan aktiviti validasi dan verifikasi yang dilaksanakan sama ada secara manual atau secara automasi untuk mengenal pasti kecacatan dalam perisian dan memastikan kualiti sesebuah perisian2. Penggunaan kaedah pengujian dengan bantuan alatan (tools/framework) yang bersesuaian merupakan dua faktor penentu kejayaan dan keberkesanan bagi aktiviti pengujian sesebuah projek³. Ujian automasi merupakan kaedah pengujian yang menggunakan bantuan alatan atau perisian khas untuk melaksanakan aktiviti pengujian serta membandingkan hasil sebenar dengan hasil jangkaan⁴. Objektif ujian automasi adalah untuk meningkatkan kecekapan pengujian menerusi peningkatan pelaksanaan kes ujian (test case) dan liputan ujian (test coverage). Kajian oleh Rafi, Dudekula Mohammad, et al. (2012) menunjukkan bahawa faedah automasi ujian adalah berkaitan dengan penggunaan semula kes ujian, penghasilan liputan ujian yang lebih tinggi serta penjimatan masa dalam pelaksanaan ujian⁵. Hynninen, Timo, et al., (2018) menerusi kajian mereka mendapati kebanyakan organisasi juga telah beralih ke arah ujian automasi menerusi pelaksanaan metodologi pembangunan agile serta mengurangkan penggunaan model proses yang konvensional⁶. Ujian automasi perisian dilihat sebagai penyelesaian yang dapat meningkatkan kecekapan dalam pembangunan perisian atau sistem aplikasi bagi menghasilkan perisian yang berkualiti tinggi, seperti yang dinyatakan dalam Model Kualiti Produk dalam dokumen International Organization for Standardization/International Electrotechnical Commission (ISO/IEC) 25010:2011⁷ iaitu Functional Suitability, Performance Efficiency, Compatibility, Usability, Reliability, Security, Maintainability dan Portability.
Ujian automasi telah dilaksanakan secara meluas dalam aktiviti pengujian berikutan transfomasi digital dan juga perkembangan dalam pembangunan aplikasi moden yang menggunakan pendekatan agile dan Development and Operations (DevOps) ⁸,⁹. Berdasarkan statistik oleh MarketsandMarket10, saiz pasaran ujian automasi global dijangka meningkat daripada USD 24.7 bilion pada tahun 2022 kepada USD 56.7 bilion menjelang tahun 2027. Walau bagaimanapun, berdasarkan soal selidik yang dijalankan oleh International Software Testing Qualification Board Board (ISTQB)¹¹ terhadap 2000 organisasi, 65% daripada organisasi tersebut telah melaksanakan ujian automasi, namun hanya separuh daripadanya yang berjaya mendapatkan faedah-faedah pengujian kerana kaedah pengujian yang kurang berkesan. Oleh yang demikian, satu panduan pelaksanaan ujian automasi perlu diwujudkan sebagai rujukan kepada organisasi sektor awam dan pengamal industri pengujian untuk membantu dalam pelaksanaan ujian automasi berdasarkan amalan terbaik agar faedah-faedah seperti peningkatan kualiti, pengurangan kos dan masa ujian serta quality at speed dapat dicapai.
Kajian ini telah dilaksanakan bertujuan membangunkan panduan pelaksanaan ujian automasi sebagai rujukan organisasi sektor awam dan pengamal industri pengujian. Fokus utama kajian adalah mengenal pasti amalan-amalan terbaik pelaksanaan ujian automasi bagi memastikan keperluan sistem yang disokong oleh Model Kualiti Produk dapat diuji dengan cekap dan berkesan. Metodologi kajian adalah dengan melaksanakan kajian literatur yang mengaplikasikan kaedah Multivocal Literature Review (MLR) yang dapat memberikan manfaat besar dalam bidang kejuruteraan perisian berdasarkan saranan oleh Garousi et al.¹².
Kajian literatur yang dijalankan telah memfokuskan kepada amalan-amalan terbaik pelaksanaan ujian automasi yang memenuhi tiga kriteria yang telah ditetapkan. Pertama adalah amalan terbaik yang telah dibuktikan menerusi kaedah empirikal oleh para penyelidik. Kedua berdasarkan perkongsian oleh para pengamal industri pengujian menerusi pelbagai sumber seperti blog, majalah atau laporan teknikal berkaitan hasil kerja atau pengalaman melaksanakan ujian automasi, cadangan amalan terbaik, garis panduan serta penambahbaikan yang dapat membantu dalam meningkatkan kecekapan dan keberkesanan ujian automasi. Manakala, yang ketiga adalah kajian kes yang telah dibuktikan berdasarkan analisa kos-faedah. Amalan terbaik yang memenuhi kriteria yang ditetapkan dianalisis dan aktiviti pemetaan dilaksanakan berdasarkan matriks bagi memastikan amalan terbaik tersebut dapat dilaksanakan berdasarkan takrifan proses ujian oleh ISTQB® Certified Tester Foundation Level (CTFL)¹³. Satu Model Pelaksanaan Ujian Automasi telah dihasilkan mengandungi 96 aktiviti ujian yang memperincikan amalan terbaik ujian automasi berdasarkan tujuh proses ujian.
Model Pelaksanaan Ujian Automasi yang dihasilkan melalui kajian ini amat penting bagi merapatkan jurang antara penyelidikan akademik dan pengamal industri pengujian melalui metodologi yang berstruktur dan sistematik, serta proses ujian yang
merangkumi keperluan bisnes dan teknikal. Model pelaksanaan ini akan menjadi sumber rujukan kepada organisasi sektor awam dan pengamal industri pengujian untuk melaksanakan ujian automasi secara sistematik dan komprehensif.
Seksyen ini akan memfokuskan kepada amalan-amalan terbaik ujian automasi yang telah dibuktikan menerusi kaedah empirikal oleh para akademik, perkongsian pengamal industri pengujian serta kajian kes organisasi yang telah berjaya melaksanakan ujian automasi dalam pembangunan sistem. Tiga kajian telah dipilih untuk dianalisa iaitu kajian oleh Wang, Yuqing, et al., (2022), Ricca, F., & Stocco, A., (2021) dan Garousi, V., & Yildirim, E., (2018) kerana kajian-kajian ini adalah penyelidikan lima tahun terkini serta memenuhi tiga kriteria awal yang telah ditetapkan.
Kajian pertama atau LR1 adalah kajian yang dilaksanakan oleh Wang, Yuqing, et al.,¹⁴ yang telah mengenal pasti 26 amalan terbaik yang memberikan kesan positif terhadap peningkatan kematangan sesebuah organisasi dalam pelaksanaan ujian automasi dan telah dinilai menerusi kajian akademik menggunakan kaedah empirikal. Jadual 1 di bawah menunjukkan 26 amalan terbaik, berdasarkan 13 key areas serta bilangan rujukan kajian Academic Literature (AL) dan Grey Literature (GL) yang telah dilaksanakan.
Jadual 1 Amalan Terbaik Ujian Automasi oleh Wang, Yuqing, et al.
Kajian kedua atau LR2 yang dilaksanakan oleh oleh Ricca, F., & Stocco, A.¹⁵ telah mengenal pasti 32 amalan terbaik berdasarkan cadangan oleh pengamal industri. Jadual 2 di bawah menunjukkan 32 amalan terbaik tersebut serta bilangan rujukan kajian GL yang telah dilaksanakan.
Jadual 2 Amalan Terbaik Ujian Automasi oleh Ricca, F., & Stocco, A.
Manakala, kajian ketiga atau LR3 adalah kajian kes yang telah dilaksanakan oleh Garousi, V., & Yildirim, E.¹⁶ bagi mengenal pasti beberapa amalan terbaik yang telah berjaya meningkatkan kecekapan dan keberkesanan pengujian serta memberikan faedah secara kuantitatif dan kualitatif terhadap sebuah projek berskala besar, melalui kolaborasi antara para akademik dan pengamal industri iaitu Law-Practice Management Software. Jadual 3 di bawah menunjukkan amalan terbaik bagi projek yang telah dilaksanakan.
Jadual 3 Amalan Terbaik Ujian Automasi oleh Garousi, V., & Yildirim, E.
Pemilihan asas reka bentuk pemetaan berdasarkan proses ujian dan aktiviti-aktiviti dalam dokumen ISTQB adalah kerana ISTQB merupakan organisasi yang mempunyai reputasi yang baik dalam kalangan pengamal industri pengujian. Menerusi program pensijilan yang dibangunkan seperti CTFL, Certified Tester Advanced Level–Test Analyst (CTAL-TA), Certified Tester Foundation Level – Agile Tester (CTFL-AT), organisasi ini menyediakan pengetahuan pengujian yang boleh digunakan secara praktikal menerusi sukatan pelajaran dan yang paling penting adalah penerimaan istilah dan konsep yang telah digunakan secara global dalam domain pengujian perisian. Sukatan CTFL juga adalah relevan untuk pelbagai pendekatan pembangunan sistem seperti waterfall, agile, DevOps dan sebagainya. Proses ujian dalam dokumen ISTQB juga telah mematuhi ISO/Institute of Electrical and Electronics Engineers (IEEE)/IEC 29119-217.
Aktiviti pemetaan amalan terbaik ujian automasi telah dilaksanakan berdasarkan takrifan proses ujian yang telah dikenal pasti iaitu test planning, test monitoring and control, test analysis, test design, test implementation, test execution dan test completion¹³. Melalui aktiviti pemetaan tersebut, satu matriks yang mengandungi maklumat proses ujian, aktiviti ujian/amalan terbaik dan sumber kajian iaitu CTFL, LR1, LR2 dan LR3 telah dibangunkan. Matriks yang dibangunkan menghasilkan senarai amalan terbaik yang memberi nilai tambah kepada aktiviti pengujian ISTQB sedia ada dan juga penambahan baharu bagi memastikan keperluan pelaksanaan ujian automasi dapat dilaksanakan dengan cekap dan berkesan. Aktiviti pemetaaan ini seterusnya membentuk Model Pelaksanaan Ujian Automasi yang akan diterangkan dalam seksyen seterusnya.
MODEL PELAKSANAAN UJIAN AUTOMASI
Model Pelaksanaan Ujian Automasi (Test Automation Implementation Model) merupakan sebuah model pelaksanaan yang boleh digunakan untuk mentadbir, mengurus dan melaksanakan ujian automasi dalam mana-mana organisasi, projek atau aktiviti ujian. Jadual 4 di bawah menunjukkan Model Pelaksanaan Ujian Automasi.
Jadual 4 Model Pelaksanaan Ujian Automasi
Berdasarkan Model Pelaksanaan Ujian Automasi yang telah dibangunkan, terdapat 24 aktiviti yang dikenal pasti dalam Test Planning [TP1] yang terdiri daripada sembilan aktiviti utama daripada ISTQB manakala 15 adalah amalan terbaik ujian automasi berkaitan strategi, keperluan dan perancangan sumber. Dalam Test Monitoring & Control [TP2], empat aktiviti dikenal pasti dengan satu penambahan berkaitan ujian automasi iaitu penggunaan Continous Integration (CI). Manakala dalam Test Analysis [TP3], kesemua 5 aktiviti utama adalah daripada ISTQB kerana aktiviti menganalisis dan mengenal pasti item ujian masih lagi perlu dilaksanakan secara manual. Selain daripada Test Planning, amalan terbaik bagi ujian automasi juga mendominasi aktiviti yang dilaksanakan semasa Test Design [TP4], Test Implementation [TP5] dan Test Execution [TP6]. Daripada 11 aktiviti yang dikenal pasti dalam Test Design [TP4], 7 aktiviti adalah berkaitan amalan terbaik ujian automasi. 21 daripada 26 aktiviti yang dikenal pasti dalam Test Implementation [TP5] pula adalah aktiviti ujian automasi iaitu berkaitan teknikal seperti penggunaan Page Object Pattern, Locators dan Libraries. Dalam Test Execution [TP6] pula, 17 aktiviti dengan 10 daripadanya adalah amalan terbaik ujian automasi dan yang terakhir adalah Test Completion [TP7], dengan jumlah 8 aktiviti, 6 adalah aktiviti utama ISTQB dan 2 adalah amalan terbaik ujian automasi seperti melaksanakan perkongsian pengetahuan/lesson learned berkaitan ujian automasi.
Pembangunan Model Pelaksanaan Ujian Automasi ini merupakan salah satu initiatif untuk mewujudkan satu panduan dan rujukan yang sistematik dan komprehensif kepada organisasi sektor awam dan para pengamal industri pengujian untuk melaksanakan ujian automasi dengan cekap dan berkesan bagi memastikan perkhidmatan yang pantas dan berkualiti atau ‘Quality at Speed’ dapat dicapai. Model Pelaksanaan Ujian Automasi dibangunkan berdasarkan tujuh proses ujian ISTQB agar ianya lebih mudah difahami kerana penggunaan terma dan konsep yang digunakan secara global dalam domain pengujian perisian, menggariskan aktiviti-aktiviti utama pengujian bermula daripada perancangan sehingga penamatan ujian yang turut merangkumi aspek bisnes dan teknikal. Bagi cadangan pemantapan Model Pelaksanaan Ujian Automasi akan datang, model ini akan ditambah baik dengan penggunaa taksonomi amalan terbaik ujian automasi yang lebih tersusun (organized), meluas (rich) serta terkini selaras dengan keperluan dan teknologi semasa seperti memanfaatkan penggunaan Artificial Intelligence (AI), Machine Learning (ML) bagi mencapai matlamat ujian automasi¹⁸. Faktor kejayaan kritikal pelaksanaan ujian automasi iaitu manusia (human), pelaksanaan (organizing), teknikal (technical), dan proses (process)¹⁹ turut dipertimbangkan dalam pemantapan model yang akan datang seperti yang cadangkan menerusi kajian oleh Wang, Yuqing, et. al. (2020).
RUJUKAN
Borremans, A. D., Zaychenko, I. M., & Iliashenko, O. Y. (2018). Digital economy. IT strategy of the company development. In MATEC Web of Conferences (Vol. 170, p. 01034). EDP Sciences.
Anwar, N., & Kar, S. (2019). Review paper on various software testing techniques & strategies. Global Journal of Computer Science and Technology.
Bajaj, H. (2015). Choosing the right automation tool and framework is critical to project success. Infosys Limited, 41.
Test automation for software development in Digital World – softcrylic. (n.d.). Retrieved December 4, 2022, from the World Wide Web:https://softcrylic.com/wp-content/uploads/2017/08/test-automation-for-software-development -in-digital-world.pdf.
Rafi, D. M., Moses, K. R. K., Petersen, K., & Mäntylä, M. V. (2012, June). Benefits and limitations of automated software testing: Systematic literature review and practitioner survey. In 2012 7th International Workshop on Automation of Software Test (AST) (pp. 36-42). IEEE.
Hynninen, Timo, et al. “Software testing: Survey of the industry practices.” 2018 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). IEEE, 2018.
ISO. (2011). ISO-IEC 25010: 2011 systems and software engineering – systems and software quality requirements and evaluation (square) – system and software quality models.
Riungu-Kalliosaari, L., Mäkinen, S., Lwakatare, L. E., Tiihonen, J., & Männistö, T. (2016, November). DevOps
adoption benefits and challenges in practice: A case study. In International conference on
product-focused software process improvement (pp. 590-597). Springer, Cham.
World Quality Report. (2021-22). Sogeti, provider of technology and engineering services. (n.d.). Retrieved January
2, 2023, from the World Wide Web:https://www.sogeti.com/explore/reports/world-quality-report-2021
-22/.
MarketsandMarkets Research. Automation testing market. (2019). Retrieved January 1, 2023, from the World Wide Web:https://www.marketsandmarkets.com/Market-Reports/automation-testing-market- 113583451.html.
ISTQB® Effectiveness Survey 2019-2020. ISTQB®. (n.d.). Retrieved January 1, 2023, from the World Wide Web:https://www.istqb.org/news/surveys/istqb-effectiveness-survey-2019-2020.
Garousi, V., Felderer, M., & Mäntylä, M. V. (2019). Guidelines for including grey literature and conducting multivocal literature reviews in software engineering. Information and Software Technology, 106, 101-121.
Istqb®. (n.d.). Certified Tester Foundation Level (CTFL). ISTQB not-for-profit association. Retrieved January 1,
2023, from the World Wide Web:https://www.istqb.org/certifications/certified-tester-foundation-level.
Wang, Y., Mäntylä, M. V., Liu, Z., Markkula, J., & Raulamo-jurvanen, P. (2022). Improving test automation maturity:
A multivocal literature review. Software Testing, Verification and Reliability, 32(3), e1804.
Ricca, F., & Stocco, A. (2021, January). Web test automation: Insights from the grey literature. In International Conference on Current Trends in Theory and Practice of Informatics (pp. 472-485). Springer, Cham.
Garousi, V., & Yildirim, E. (2018, April). Introducing automated GUI testing and observing its benefits: an industrial case study in the context of law-practice management software. In 2018 IEEE International Conference on SoftwareTesting, Verification and Validation Workshops (ICSTW) (pp. 138-145). IEEE.
Sánchez-Gordón, M. L., & Colomo-Palacios, R. (2018, September). From certifications to international standards in software testing: mapping from ISQTB to ISO/IEC/IEEE 29119-2. In European Conference on Software Process Improvement (pp. 43-55). Springer, Cham.
Battina, D. S. (2019). Artificial Intelligence in Software Test Automation: A Systematic Literature Review.
International Journal of Emerging Technologies and Innovative Research (www. jetir. org UGC and issn Approved), ISSN, 2349-5162.
Wang, Y., Pyhäjärvi, M., & Mäntylä, M. V. (2020, October). Test automation process improvement in a DevOps team: experience report. In 2020 IEEE International Conference on Software Testing, Verification and
Validation Workshops (ICSTW) (pp. 314-321). IEEE.