सॉफ्टवेयर टेस्टिंग पर्सेप्शन बनाम इफेक्टिवनेस पर एक रेप्लिकेशन स्टडी

लिंक की तालिका

सार

1 परिचय

2 मूल अध्ययन: अनुसंधान प्रश्न और कार्यप्रणाली

3 मूल अध्ययन: वैधता खतरे

4 मूल अध्ययन: परिणाम

5 प्रतिकृत अध्ययन: अनुसंधान प्रश्न और कार्यप्रणाली

6 प्रतिकृत अध्ययन: वैधता खतरे

7 प्रतिकृत अध्ययन: परिणाम

8 चर्चा

9 संबंधित कार्य

10 निष्कर्ष और संदर्भ

\

5 प्रतिकृत अध्ययन: अनुसंधान प्रश्न और कार्यप्रणाली

हम गलत धारणाओं के पीछे संभावित कारणों की खोज में मूल अध्ययन के परिणामों की आगे जांच करने का निर्णय लेते हैं। मनोविज्ञान मानता है कि लोगों की धारणाएं व्यक्तिगत विशेषताओं जैसे दृष्टिकोण, व्यक्तिगत रुचियों और अपेक्षाओं से प्रभावित हो सकती हैं। इसलिए, हम प्रतिभागियों की राय की जांच करने का निर्णय लेते हैं, मूल अध्ययन [47] की एक विभेदित प्रतिकृति का संचालन करके जो इसके लक्ष्य को निम्नानुसार विस्तारित करती है:

1. प्रभावशीलता धारणा के सर्वेक्षण को प्रोग्राम पर प्रश्न शामिल करने के लिए विस्तारित किया गया है।

2. हम यह पता लगाना चाहते हैं कि क्या प्रतिभागियों की धारणाएं उनकी राय से प्रभावित हो सकती हैं। अधिक सटीक रूप से: उनकी प्राथमिकताएं (पसंदीदा तकनीक), उनका प्रदर्शन (वह तकनीक जो उन्हें लगता है कि उन्होंने सबसे अच्छी तरह लागू की) और तकनीक या प्रोग्राम जटिलता (वह तकनीक जो उन्हें लगता है कि लागू करना सबसे आसान है, या परीक्षण किया जाने वाला सबसे सरल प्रोग्राम)।

   \ इसलिए, प्रतिकृत अध्ययन मूल अध्ययन में बताए गए RQ1 की पुनः जांच करता है (इस बार प्रतिभागियों द्वारा लिए गए सर्वेक्षण में प्रोग्राम के संबंध में भी प्रश्न शामिल हैं), और निम्नलिखित नए अनुसंधान प्रश्नों को संबोधित करता है:

   – RQ1.6: क्या प्रतिभागियों की धारणाएं प्रतिभागियों द्वारा रिपोर्ट किए गए दोषों की संख्या से संबंधित हैं? हम यह आकलन करना चाहते हैं कि क्या प्रतिभागी सबसे प्रभावी तकनीक के रूप में उस तकनीक को मानते हैं जिसके साथ उन्होंने अधिक दोषों की रिपोर्ट की है।

   – RQ2: क्या प्रतिभागियों की राय का उपयोग परीक्षण प्रभावशीलता के लिए भविष्यवक्ता के रूप में किया जा सकता है?

   – RQ2.1: तकनीकों और प्रोग्राम के बारे में प्रतिभागियों की क्या राय है? हम जानना चाहते हैं कि क्या प्रतिभागियों की तकनीकों या प्रोग्राम के बारे में अलग-अलग राय है।

   – RQ2.2: क्या प्रतिभागियों की राय उनकी प्रभावशीलता की भविष्यवाणी करती है? हम यह आकलन करना चाहते हैं कि क्या प्रतिभागियों की तकनीकों (या प्रोग्राम) के बारे में जो राय है वह भविष्यवाणी करती है कि उनके लिए कौन सी सबसे प्रभावी है।

   – RQ3: क्या प्रतिभागियों की धारणाओं और राय के बीच कोई संबंध है?

   – RQ3.1: क्या प्रतिभागियों की धारणाओं और राय के बीच कोई संबंध है? हम यह आकलन करना चाहते हैं कि क्या प्रतिभागियों की तकनीकों (या प्रोग्राम) के बारे में जो राय है वह उनकी धारणाओं से संबंधित है।

   – RQ3.2: क्या प्रतिभागियों की रायों के बीच कोई संबंध है? हम यह आकलन करना चाहते हैं कि क्या तकनीकों के बारे में प्रतिभागियों की एक निश्चित राय अन्य रायों से संबंधित है।

   \ इन प्रश्नों का उत्तर देने के लिए, हम अगले शैक्षणिक वर्ष में उसी पाठ्यक्रम के छात्रों के साथ मूल अध्ययन को दोहराते हैं। इस बार हमारे पास 46 छात्र हैं। प्रयोग की प्रतिकृति में किए गए परिवर्तन निम्नानुसार हैं: – प्रयोग के अंत में प्रतिभागियों द्वारा पूरी की जाने वाली प्रश्नावली को नए प्रश्न शामिल करने के लिए विस्तारित किया गया है। राय के प्रश्नों के साथ हम जो जानकारी प्राप्त करना चाहते हैं वह है: – तकनीकों पर प्रतिभागियों का प्रदर्शन। इस प्रश्न के साथ हम प्रक्रिया अनुरूपता का उल्लेख कर रहे हैं। सबसे अच्छी लागू की गई तकनीक वह तकनीक है जो प्रत्येक प्रतिभागी को लगता है कि उसने अधिक पूर्णता से लागू की है। यह OT1 से मेल खाता है: आपने कौन सी तकनीक सबसे अच्छी तरह लागू की?

   \ – प्रतिभागियों की प्राथमिकताएं। हम प्रत्येक प्रतिभागी की पसंदीदा तकनीक जानना चाहते हैं। वह जिसके साथ लागू करते समय उन्हें अधिक सहज महसूस हुआ। यह OT2 से मेल खाता है: आपको कौन सी तकनीक सबसे अच्छी लगती है?

   – तकनीक जटिलता। हम जानना चाहते हैं कि प्रत्येक प्रतिभागी को कौन सी तकनीक प्रक्रिया अनुरूपता प्राप्त करने के लिए सबसे आसान लगी। यह OT3 से मेल खाता है: कौन सी तकनीक लागू करने में सबसे आसान है?

   \ – प्रोग्राम परीक्षणीयता। हम जानना चाहते हैं कि कौन सा प्रोग्राम परीक्षण करना आसान था। यानी, वह प्रोग्राम जिसमें प्रक्रिया अनुरूपता अधिक आसानी से प्राप्त की जा सकती है। यह OP1 से मेल खाता है: सबसे सरल प्रोग्राम कौन सा है? तालिका 16 सर्वेक्षण प्रश्नों का सारांश देती है। हमने इन प्रश्नों को चुना है क्योंकि हमें सरल प्रश्न पूछने की आवश्यकता है, जिन्हें प्रतिभागियों द्वारा आसानी से समझा जा सकता है, साथ ही सार्थक भी हों। हम प्रतिभागियों को जटिल प्रश्नों से अभिभूत नहीं करना चाहते जिनमें बहुत सारे स्पष्टीकरण हों। एक जटिल प्रश्नावली छात्रों को इसे जमा करने से हतोत्साहित कर सकती है।

   \ – प्रोग्राम दोषों को बदल दिया गया है। मूल अध्ययन इस प्रकार डिज़ाइन किया गया है कि सभी तकनीकें सभी इंजेक्ट किए गए दोषों को खोजने में प्रभावी हैं। हम सभी तकनीकों द्वारा पता लगाए जा सकने वाले दोषों का चयन करते हैं ताकि तकनीकों की तुलना निष्पक्ष रूप से की जा सके। प्रतिकृत अध्ययन उस स्थिति को कवर करने के लिए डिज़ाइन किया गया है जिसमें कुछ दोष सभी तकनीकों द्वारा पता नहीं लगाए जा सकते। इसलिए, हम कुछ ऐसे दोष इंजेक्ट करते हैं जिन्हें तकनीकें पता लगाने में प्रभावी नहीं हैं। उदाहरण के लिए, BT एक गैर-कार्यान्वित सुविधा का पता नहीं लगा सकता (क्योंकि प्रतिभागियों को केवल स्रोत कोड से टेस्ट केस उत्पन्न करने की आवश्यकता होती है)। इसी तरह,

EP एक ऐसे दोष को नहीं ढूंढ सकता जिसका पता लगाना दो अमान्य समकक्षता वर्गों के संयोजन पर निर्भर करता है। इसलिए, प्रतिकृत अध्ययन में, हम प्रत्येक प्रोग्राम में कुछ ऐसे दोष इंजेक्ट करते हैं जिन्हें BT पता लगा सकता है लेकिन EP नहीं और कुछ ऐसे दोष जिन्हें EP पता लगा सकता है लेकिन BT नहीं (प्रत्येक प्रोग्राम में छह दोष डाले गए हैं)। ध्यान दें कि डिज़ाइन संतुलित है: हम उतने ही दोष इंजेक्ट करते हैं जितने BT पता लगा सकता है, लेकिन EP नहीं, और इसके विपरीत –EP पता लगा सकता है, लेकिन BT नहीं)। इस परिवर्तन से EP और BT की प्रभावशीलता प्रभावित होने की उम्मीद है, जो मूल अध्ययन की तुलना में कम हो सकती है। इसे CR की प्रभावशीलता को प्रभावित नहीं करना चाहिए।

– हम परिपक्वता के मुद्दों का आगे अध्ययन करने के लिए प्रोग्राम अनुप्रयोग क्रम बदलते हैं। क्रम अब है: cmdline, ntree, nametbl। इस परिवर्तन को परिणामों को प्रभावित नहीं करना चाहिए।

– प्रतिभागी अपने स्वयं के टेस्ट केस चलाते हैं। यह हो सकता है कि मूल अध्ययन में प्राप्त गलत धारणाएं इस तथ्य के कारण हों कि प्रतिभागी अपने स्वयं के टेस्ट केस नहीं चला रहे थे।

– अब दो संस्करण नहीं हैं बल्कि एक है। दोष और विफलताएं इस अध्ययन का लक्ष्य नहीं हैं। यह प्रयोग को सरल बनाने में मदद करता है। तालिका 17 अध्ययन में किए गए परिवर्तनों का सारांश दर्शाती है।

तकनीक प्रभावशीलता को मापने के लिए हम मूल अध्ययन की तरह ही आगे बढ़ते हैं। हम रिपोर्ट की गई विफलताओं पर निर्भर नहीं हैं, क्योंकि प्रतिभागी:

1. गलत सकारात्मक (गैर-वास्तविक विफलताएं) रिपोर्ट कर सकते हैं।
2. एक ही विफलता को एक से अधिक बार रिपोर्ट कर सकते हैं (हालांकि उन्हें ऐसा नहीं करने के लिए कहा गया था)।
3. तकनीक द्वारा प्रयोग किए गए दोषों से संबंधित विफलताओं को चूक सकते हैं, लेकिन किसी कारण से देखा नहीं गया है।

हम प्रत्येक प्रतिभागी द्वारा रिपोर्ट किए गए दोषों/विफलताओं की संख्या गिनकर नए प्रतिक्रिया चर (रिपोर्ट किए गए दोष) को मापते हैं। हम RQ2.1 का विश्लेषण RQ1.1 की तरह ही करते हैं, और RQ1.6, RQ2.2, RQ3.1 और RQ3.2 का RQ1.2 की तरह। तालिका 18 प्रत्येक अनुसंधान प्रश्न का उत्तर देने के लिए उपयोग किए जाने वाले सांख्यिकीय परीक्षणों का सारांश देती है।

\

6 प्रतिकृत अध्ययन: वैधता खतरे

मूल अध्ययन में सूचीबद्ध वैधता के खतरे इस प्रतिकृत अध्ययन पर लागू होते हैं। इसके अतिरिक्त, हमने निम्नलिखित को पहचाना है:

6.1 निष्कर्ष वैधता

1. उपचार कार्यान्वयन की विश्वसनीयता। प्रतिकृत प्रयोग उन्हीं शोधकर्ताओं द्वारा चलाया जाता है जिन्होंने मूल प्रयोग किया था। यह सुनिश्चित करता है कि प्रतिभागियों के दोनों समूह उपचारों को अलग तरीके से लागू नहीं करते हैं।

   6.2 आंतरिक वैधता

   1. मूल्यांकन की आशंका। छात्रों का उपयोग और प्रयोग में उनके प्रदर्शन को पाठ्यक्रम में उनके ग्रेड के साथ जोड़ना यह समझा सकता है कि प्रतिभागी मानते हैं कि उनका प्रदर्शन और तकनीकों की कमजोरियां नहीं, एक तकनीक की प्रभावशीलता को समझाते हैं।

6.3 निर्माण वैधता

1. प्रभाव निर्माणों की अपर्याप्त प्रीऑपरेशनल व्याख्या। चूंकि रायें संचालित करने के लिए कठिन निर्माण हैं, इसलिए यह संभावना मौजूद है कि प्रश्नावली में दिखाई देने वाले प्रश्नों की व्याख्या प्रतिभागियों द्वारा उस तरह से नहीं की जाती है जिस तरह से हमने इरादा किया था। 6.4 बाहरी वैधता

2. परिणामों की पुनरुत्पादकता। यह स्पष्ट नहीं है कि यहां प्राप्त परिणाम किस हद तक पुनरुत्पादक हैं। इसलिए, अध्ययन की अधिक प्रतिकृतियों की आवश्यकता है।

   \ जिन चरणों का पालन किया जाना चाहिए वे हैं:

   (a) प्रतिभागियों द्वारा दिए गए उत्तरों के कारणों को पकड़ते हुए अध्ययन को दोहराएं।

   (b) इस अध्ययन में उपयोग किए गए छात्रों के समान विशेषताओं वाले व्यवसायियों के साथ अध्ययन करें (सॉफ़्टवेयर परीक्षण में बहुत कम या बिना अनुभव वाले लोग)।

   (c) यह पता लगाएं और परिभाषित करें कि किस प्रकार का अनुभव परिणामों को प्रभावित कर सकता है (शैक्षणिक, व्यावसायिक, प्रोग्रामिंग, परीक्षण, आदि)।

   (d) अनुभव के बढ़ते स्तरों को ध्यान में रखते हुए नए अध्ययन चलाएं।

   \ फिर से, प्रतिकृत अध्ययन को प्रभावित करने वाले सभी खतरों में से, केवल एक ही है जो औद्योगिक संदर्भ में इस अध्ययन के परिणामों की वैधता को प्रभावित कर सकता है, वह अन्य विषय प्रकारों के सामान्यीकरण से संबंधित है।

\

:::info लेखक:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

:::info यह पेपर CC BY-NC-ND 4.0 लाइसेंस के तहत arxiv पर उपलब्ध है।

:::

\