overfitting

• pek de doğru bir çeviri gibi görünmese de "aşırı uygunluk" olarak çevrilmişliği vardır.
• (bkz: regularization)
• bir öğrenme ya da öngörü algoritmasının kraldan çok kralcı hale gelmesidir. algoritma esas problemi çözmekten uzaklaşır ve kendisine verilen değerleri tutturmaya odaklanır. buna o kadar odaklanır ki değerleri mükemmel tutturur ama bu yüzden de esas çözmesi gereken problemi çözmekten uzaklaşır. mesela bir öğrencinin iyi not almak için sınavda kopya çekmesi overfitting'dir. öğrenci konuyu öğrenmiş olmaz ama sisteme göre mükemmel iş çıkarmıştır. overfitting modeller de değeri tutturmak için her tür pisliğe başvururlar.
• önlemek icin daha büyük data set ve cross validation gerektiren meret, ama her alanda yeteri kadar iyi data set yok. protein predictorlarin setlerine bunu önlemek icin bazen farkli proteinleri de katiyorlarmis. bundan bazen cok iyi sonuc alinca, bu sefer de neden sonucun bu kadar iyi oldugunu anlamakta güclük cekiyorlarmis. o kadar veriyi islemenin baska yolu da yok. data setler eksik. gariplerim. proteinle ugrasmak zor.
• ilk olarak coursera.org tarafından bitirme tezim için yapay sinir ağları üzerine eğitim videoları izlerken karşılaştığım kavram. bu kavramın tersi de underfitting'dir. yukarıda da açıklandığı gibi öğrenme algoritması veriyi öyle bir öğrenir ki genel resmi kaçırır ve tek tek verilere aşırı fazla odaklanır. eldeki veriler için uygun model hatta çok uygun model kurulabilir fakat gelecek için sağlıksız bir model ortaya çıkabilir bu durumda. inputta veri çeşitliliğini azaltmak ya da outputta veri çeşitliliğini arttırmak bu sorunu çözmek için iyi olabilir.
• (bkz: convolutional neural networks) ve diğer sinir ağlarında karşımıza çıkan problem. bu problemi aşmak için bir çok yol vardır. fakat her zaman işe yaracağını garanti edemeyiz. sinir ağlarının çalışmasının altında bir çok parametre yatmaktadır. nöron sayısı , katman sayısı , aktivasyon fonksiyonları vb. bunların da öncesinde öznitelik çıkartma işlemi vardır ki bu katmanları da değiştirmek işe yarayabilir. henüz kararlı bir biçimde verimli çalışan bir katman sayısı , aktivasyon fonksiyonu bulunmadığı için probleme özgü olmak koşuluyla bu katmanlar değiştirilerekte sorun giderilebilir. fakat bu problemin çözülmesinde ki genel kanı ise bias sayısının değiştirilmesidir.
• verisetinizin çeşitliliği az olduğunda baş gösteren bir problem.
  
  tam olarak ne olduğu hakkında şöyle özüt bir bilgi bulayım derken, dönüp dolaşıp ekşi'ye gelince kutsal bilgi kaynağının popüler zırvaların yanında, hala bir kaç bilgi kırıntısı barındırdığını görmek, bir nebze de olsa, kafamdaki dağılmış imajını biraz toparladı.
• overfitting genel olarak bir siniflandiricinin veriyi genellestirme amacindan uzaklasarak veriyi ezberlemesine verilen teknik isimdir. öyle ki, siniflandiriciniz train set uzerinde cok iyi calisir ve neredeyse yuzde yuze yakin dogru tahminleme yapar, ama is modeli development set uzerinde test etmeye kalkinca dusuk bir basari eder. buna literaturde high variance da denir. bunun 2 turlu cozumu vardir.
  
  1. yontem : daha fazla veri kullanmak. ancak bu yontem her zaman daha fazla veri toplayamadigimizdan biraz maliyetlidir.
  
  2. yontem ise regularizationdir. buradaki amac inputlara cok duyarli olan neural networkun weightlerini olabildigince kucultmektir. genel olarak regularization high variance probleminde kullanilmasi gereken ilk yontemdir. genellikle ise yarar. l1 , l2 ve dropout regularization yontemleri kullanilir.
• genel manada finans alanında, daha özel manada trading alanında tanımlarsak;
  
  üzerinde çalışılan, backtesting yapılan stratejinin, sadece tek parça halinde ve/veya yetersiz geçmiş veri ile test edilmesi sonucu, bu stratejinin geçmiş verilere aşırı adapte olup, gelecek için tradera aşırı güven veren, aşırı kârlı sonuçlar vermesidir.
  
  walk forward optimization ile sonuçlar yumuşatılmalı, geçmiş koşulların gelecekte değişecek olması sisteme olabildiğince entegre edilmelidir.
  
  çünkü finans piyasasında geçmiş veriler (elinizde ne kadar veri olursa olsun) geleceği mükemmel tahmin etmenize olanak sağlamaz.
• overfitting sadece veri madenciliği veya machine learning alanında değil, insan hayatının içindeki bir mekanizmadır aynı zamanda. hayatımızdaki algoritmalar kitabında bunun insan hayatında nasıl bir lanet olduğundan bahseden bir bölüm var.
  
  mesela insanın damak tadı, doğadaki tüm canlılar gibi, bir şeyin zehirli olup olmadığını, kendisine yararlı olup olmadığını ayırt etmek üzere evrimleşmiştir. eski çağlarda rafine şeker olmadığı için insanlar şekerli meyveleri ve yemişleri ne zaman bulurlarsa tüketmişler. (zaten bu yüzden biz renkli gören nadir canlılardanız. diğer canlılar monochrome görüyor, biz değil.) neyse, şeker demek enerji demek, doğada hayatta kalmak demek. bu yüzden insanın damak tadı şekere overfit olmuş durumda. ancak rafine şeker elde edildikten sonra bu overfit durumu bizim aleyhimize işlemeye başlıyor. janjanlı paketler içerisinde sunulan şekerli yiyecekler zehirden farksız olmasına rağmen yemeye devam ediyoruz.
  
  overfitting'in en çok görüldüğü yerlerden birisi de eğitim alanı. kitapta polislerin atış eğitiminde boş kovanları toplamaya overfit olmalarından bahsediliyor. boş kovanları toplamaya overfit olan polisler, gerçek silahlı çatışmadan sonra ceplerinde, ne zaman topladıklarını bile bilmedikleri boş kovanlar buluyorlar.
  
  bir diğer örnek de yakın dövüş eğitiminde dövüş hocasının elinden silahı kapıp hocayı yere deviren fbi ajanlarının, suçlu ile yakın temas sırasında suçlunun elinden silahı atıp yere devirmesi, sonra suçluyu yerden kaldırıp eline silahı geri vermesiymiş. eheh. çok ilginç bir sahne olsa gerek ama eğitime overfit olan birinin yapamayacağı bir şey değil.
  
  tabii malum, bizim eğitim sistemi de testlere overfit olmuş durumda. amaç bir şeyleri öğrenmek, kafayı çalıştırmak değil, sınavları geçmek olunca, gençler testlere overfit olmuş. takdir teşekkür gibi belgeler bir gösterge veya ödül olmaktan çıkmış, amaç haline gelmiş. araç olmaktan çıkıp amaç haline gelen her şeyde overfitting'i görebilirsiniz.
  
  aynı zamanda bu mekanizma survivorship bias ile birleşince tam bir saçmalığa dönüşüyor. aynı şeyi yapan binlerce insan başarısız olurken, insanlar binlerce başarısız örneği görmezden gelip, aynı şeyi yapmaya devam edebiliyor. veya başarı saçma sapan şeylerle ilişkilendirilebiliyor. örneğin "steve jobs sabahları güne kahve içmeden başlamazdı" gibi bir şey okuyan insanlar sabahları kahve içmeye başlıyor. güne kahve ile başlayan başarısız onca kişiyi görmezden geliyor. hatta kahve içtiği için değil, kahve içmesine rağmen başarılı olmuş da olabilir ama bunu ayırt etmek için bilimsel bir yaklaşım gerekiyor. kahve burada saçma bir örnekti ama kahve yerine herhangi bir şeyi koyabilirisiniz.
  
  overfit olduğumuz o kadar çok şey var ki. popüler olan çoğu şeyin sebebi de bu. biri bir şey yapıyor, hasbelkader bir sonuç elde ediyor, herkes aynı şeyi yapmaya başlıyor.
  
  not: entry'yi gelişine yazdım. köklü düzeltmeler ve değişiklikler yapabilir, örnekler ekleyebilirim.