confusion matrix

• öğrenmenin^* ne kadar kaliteli olduğunu "görmemizi" sağlayan matrix. satırlar, o obje için öngörülen sınıfı; sütunlar, o objenin gerçekte bulunduğu sınıfı gösterir ya da tam tersi. keyfe göre. bunun sonucunda vay anam vay neler dönmüş serhat ya da denilebilir, çok iyi de oldu çok güzel iyi oldu tamam mı da.
• (bkz: precision and recall)
• bir sınıflandırmanın doğruluğunu hesaplama için hata matrisi kullanılır. python yazılım dilinde sklearn kütüphanesi aracılığıyla doğrudan sınıflandırmanızın doğruluğunu kontrol edebilirsiniz. nasıl kullanıldığına buradan bakabilirsiniz.
• 2*2 lik bir matris. satırlar true ve false, sütunlar positive ve negative olsun.
  diyelim ki bir e-ticaret sitesine gelen müşterilere ‘onu alan bunu da aldı’ kıvamında öneriler yapıyorsunuz ve ürünleri tıklamalarını bekliyorsunuz. (bkz: collaborative filtering)
  
  müşteriye doğru ürün gösterirseniz ve o da bu ürüne tıklarsa bu true positive olur.
  müşteriye yanlış ürünü gösterirseniz ve müşteri ona tıklarsa bu false positive olur.
  müşteriye doğru ürün gösterirseniz ve müşteri yanlış ürüne tıklarsa bu true negative olur.
  müşteriye yanlış ürün gösterirseniz ve o da yanlış ürüne tıklarsa bu da false negative olur.
  
  bunlari bilerek modelinizi değerlendirebilir ve değiştirebilirsiniz. (bkz: back propagation)
  
  precision müşterinin tıkladığı ürünlerin ne kadarının doğru olduğunu temsil eder. basit formülü tp/(tp+fp) dir.
  
  recall doğru ürünlerin ne kadar tıklandığını temsil eder. tp/(tp+fn)
• diyelim ki kanser tespit eden bir alet yapmışlar sizin hastaneye satmaya çalışıyorlar. alet süper gözüküyor, kanser diye tahmin ettiklerinin hepsi gerçekten kanser. hadi ver bakalım parayı al makineyi diyorlar. o an aklına geliyor. tamam bunun sensibilty'si piyasadaki en yüksek makina, ama çıkar göster bakalım confusion matrix'indeki diğer değerler nasıl, o değerlerden error rate'i hesaplayalım diyorsun, o arada sen abdülhamid'i savundun diye kargaşa çıkıyor, bir de bakıyorsun ki specificity değerleri yerlerde sürünüyor. meğer alet herkesi "aha bu kanser" diye sonuç verdiğinden kanser olanları bilme oranı %100 iken kanser olmayanları da kanser diye etiketliyormuş. tabi sonra arbede falan ne olduğu anlaşılmıyor. ilginç olaylar.
• bu nanenin bence en zor ve akılda kalmayan kısmı false positive ve false negative'in ne olduğu bilgisini hafızada tutmak. 50 kez bu konuyu öğrendim hala false positive hangisi denildiğinde şöyle bir şaşalıyorum. ama en sonunda nasıl akılda tutacağımı buldum.
  
  false positive ifadesi iki kelimeden oluşur. ikinci kelime(positive) sizin o veriyi nasıl tahmin ettiğinizi gösterir (gerçekte ne olduğu değil). ilk kelime ise tahmininizin doğru olup olmadığını gösterir. yani isimlendirme kısmını tamamen sizin bakış açınızı esas kabul ederek aklıda tutmanız gerekli.