a/b testi

• bazen kötü senaryoları da düşünmek lazım. diyelim ki işe girdiniz ve size ab testi yapın dediler. yaptınız. sonuçlar güzel çıktı. ürün müdürüne bu değişikliği yapmak faydalıdır dediniz ve yaptılar. belli bir zaman geçti. ekip ile birlikte toplantıdasınız. rakamlar ekrana geldi. aaa o da ne? metriğin değerleri değişiklik öncesine geri dönmüş. ürün müdürü size bakıyor, yazılımcılar bakıyor. ne olmuş olabilir acaba diye soruyorlar.
  
  böyle bir senaryo başıma gelmedi ama lan böyle olursa acaba ne diyeceğiz diye düşünmedim değil.
  biri orada "acaba testi mi yanlış kurduk" falan diye soruyor? yani ben ne bileyim niye öyle olmuş. müşterilerin canı öyle istemiş öyle olmuş. veya nedeni anlamak için gidip düşünmek falan lazım ama adamlar bir kere "test formülleri mi yanlış" falan diye soruyor, bir şeyler demek lazım.
  
  işte böyle bir durumda sanırım "test istatistiği doğruydu ama novelty effect" olmuş demek hayat kurtarabilir. novelty effect müşteri kitlesinin yapılan değişikliklere belli bir süre boyunca olumlu yanıt vermesi olarak tarif edilebilir.
  
  hatta sanırım watson elektrik şirketi miydi neydi orada bir deney vardı. adamlar ışıkları belli bir süre yakıyor, üretim artıyor. sonra belli bir süre kapatıyorlar yine verim artıyor. mühendislerin kafası karışıyor, ışıkları açalım mı kapatalım mı yani diye. sonra anlaşılıyor ki verimliliği arttıran şey çalışma koşullarından ziyade koşulların değişmesi imiş.
  
  böyle bir durumda novelty effect kavramından haberdar olmak sanırım bu kariyerin başındaki kişileri kurtarabilir.
  
  pekiii diyelim ki toplantıda verdiğiniz yanıt ile sıyrılıp masanıza geri dönebildiniz. lan acaba gerçekten novelty effect mi olup olmadığını nereden bileceksiniz? yapılan değişikliğin gerçeğe alındığı anki datalar ile ab testinin hemen başındaki dataları (zaten böyle bir şey varsa ab testini de uzun süre yapmamışsınız anlamı çıkar) karşılaştırın. datalar benzer ise gerçekten de yapılan değişiklik bir süre olumlu olmuş ama novelty effect ortaya çıkmış diyebilirsiniz.