a/b testi ^*

• web'den ornek vermek gerekirse kullanicilara bir sitenin/sayfanin rastgele olarak ya normal halini ya da onerilen bir degisikligi barindiran halini koyup, iki vaziyet arasindaki farki incelemek suretiyle "kullanislilik", "verim" denemelerine verilen isimdir a/b test.
  
  burada "a", kontrol grubunu, "b" ise tedavi grubunu temsil eder. onerilen degisiklige tedavi denir.
  
  a/b testinin en onemli ozelligi dogru uygulandigi takdirde iki deney arasindaki tek degisim uygulanan tedavi oldugundan aradaki tum istatistiki farkin sebebinin yapilan degisiklik olmasidir. boylece elde edilen her veri anlam kazanir. dogru uygulamasi gayet zahmetlidir.
• değerlendirmelerinin en büyük kalemini ziyaretçinin sayfada kalma süresi ve sebebi oluştursa gerek.
  
  asıl vermek istediğimizi alabiliyor mu aceba kullanıcı, yoksa boşa mı kürek çekiyoruz burda istatistik kasarak diye...
• web kısmıyla alakalı çok büyük bir kolpa dolaşmaktadır. iddalara göre amazon add to cart butonunu continue olarak değiştirir ve cirosu 300 milyon $ artar. bunu genel olarak a/b testi konusunda konuşan her adam söyler. ağızlarına kürekle vurmaktan çekinmeyiniz
• 28 şubat 2016 ekşi sözlük'ün tasarımının değişmesi olayından önce yapılıp yapılmadığını merak ettiğim test. lan bir grupla bi test etseydiniz önce, bi geri dönüşleri alsaydınız.
• twitter'ın aylardır yaptığı test. geçerse tweetleri tarihsel olarak değil bir algoritma sonucuna göre göreceğiz. facebook böyle yapıyor mesela.
  
  tabi bunlar amerikan şirketlerinin yaptığı uygulamalar. yoksa türk menşeili şirketler (örnek: eksisozluk) çat diye bir gecede her şeyi değiştirir, kullanıcıyı filan da siktir eder. varsan baksan bunu yapan tipler türk milletinin ne kadar hede hödö olduğundan dem vuruyordur.
  
  milletçek hepimiz aynıyız işte, napalım.
• facebook, twitter ve hatta google amcanın bile yapdığı - türkiye'de ki eticaret siteleri de yaptı kaç kez - ama ekşisözlük'ün yapmadığı bir test çeşidi.
  
  keşke direk tasarıma geçiş yapılmadan önce a/b testi yapılsaydı diyor insan.
  
  mesala eski tarihli üyelerden bir kısmı, yeni üyelerden bir kısmına otomatik geçiş sağlayıp; sayfa gezinme, hemen çıkma oranı vs vs gibi verilere bakıp ve geri dönüşleri de dikkate alıp yeni tasarımı öyle hayata geçirselerdi diyor insan.
• internet reklamlarında kıyas için sıkça kullanılır. tavsiye de ederim. fakat bütçeyi iyi belirlemekte fayda var her işte olduğu gibi.
• hakkinda okudugum en efsane yorum:
  "in recent years, hundreds of the brightest minds of modern civilization have been hard at work not curing cancer. instead, they have been refining techniques for getting you and me to click on banner ads. "
• bakılması gereken şöyle bir açı da vardır: bir ürün grubu için yeni bir dizayn ekledik ve testi yaptık. ahan da gerçekten hedef metrikte yükseliş var. bu iyi bir şeydir. ama bazı durumlarda(hangi durumlarda?) sizin hedef metriğinizdeki bir yükseliş şirketin başka bir metriğinde düşüşe sebep olabilir. bazen kafayı kaldırıp yaptığınız deney hedef aldığınız tek metriğin dışında şirketin diğer metriklerini nasıl etkiliyor diye bakmak da faydalı olabilir.
  
  kabaca bir örnek vermek gerekirse, web alışveriş sitesinde bazı ürünlerin "free shipping" opsiyonlu olduğunu tasarım olarak vurguladınız ve bingo! bu ürünlerin satışı gerçekten de +%10 arttı gibi duruyor. ama daha kapsamlı bir analizde bu +10'un "free shipping" olmayan ürünlerde -%10'a da sebep olduğunu da görebilirsiniz.
• bazen kötü senaryoları da düşünmek lazım. diyelim ki işe girdiniz ve size ab testi yapın dediler. yaptınız. sonuçlar güzel çıktı. ürün müdürüne bu değişikliği yapmak faydalıdır dediniz ve yaptılar. belli bir zaman geçti. ekip ile birlikte toplantıdasınız. rakamlar ekrana geldi. aaa o da ne? metriğin değerleri değişiklik öncesine geri dönmüş. ürün müdürü size bakıyor, yazılımcılar bakıyor. ne olmuş olabilir acaba diye soruyorlar.
  
  böyle bir senaryo başıma gelmedi ama lan böyle olursa acaba ne diyeceğiz diye düşünmedim değil.
  biri orada "acaba testi mi yanlış kurduk" falan diye soruyor? yani ben ne bileyim niye öyle olmuş. müşterilerin canı öyle istemiş öyle olmuş. veya nedeni anlamak için gidip düşünmek falan lazım ama adamlar bir kere "test formülleri mi yanlış" falan diye soruyor, bir şeyler demek lazım.
  
  işte böyle bir durumda sanırım "test istatistiği doğruydu ama novelty effect" olmuş demek hayat kurtarabilir. novelty effect müşteri kitlesinin yapılan değişikliklere belli bir süre boyunca olumlu yanıt vermesi olarak tarif edilebilir.
  
  hatta sanırım watson elektrik şirketi miydi neydi orada bir deney vardı. adamlar ışıkları belli bir süre yakıyor, üretim artıyor. sonra belli bir süre kapatıyorlar yine verim artıyor. mühendislerin kafası karışıyor, ışıkları açalım mı kapatalım mı yani diye. sonra anlaşılıyor ki verimliliği arttıran şey çalışma koşullarından ziyade koşulların değişmesi imiş.
  
  böyle bir durumda novelty effect kavramından haberdar olmak sanırım bu kariyerin başındaki kişileri kurtarabilir.
  
  pekiii diyelim ki toplantıda verdiğiniz yanıt ile sıyrılıp masanıza geri dönebildiniz. lan acaba gerçekten novelty effect mi olup olmadığını nereden bileceksiniz? yapılan değişikliğin gerçeğe alındığı anki datalar ile ab testinin hemen başındaki dataları (zaten böyle bir şey varsa ab testini de uzun süre yapmamışsınız anlamı çıkar) karşılaştırın. datalar benzer ise gerçekten de yapılan değişiklik bir süre olumlu olmuş ama novelty effect ortaya çıkmış diyebilirsiniz.