generative ai

• hem faydasi hem zarari hem de belirsizligi cok, yepisyeni teknoloji. (4-5 senedir var nesi yeni diyebilirsiniz tabi. haklisiniz.) sene basindan beri yakin takibe baslamistim, son 2-3 aydir da biraz hands-on calisma sansim oldu. asagida yazdiklarim son derece subjektif yorumlar haliyle.
  
  calistigim sirkette llama 2 ve openai gpt modelleri kiyaslama ve ikisiyle de farkli urunleri kullanima sokma cabasindayiz. urun fikrinden urun haline getirme sureniz elinizdeki kullanim yoluna gore 3-6 ay arasinda maksimum. eger cok spesifik bi amacla kullanacaksaniz biraz daha fazladir belki. bu ortalama bi makine ogrenmesi modeli ile kiyaslanirsa biraz daha kisa sayilabilir.
  
  nlp'ye ve dil modellerine biraz mesafeli yaklastim sahsen ve cok uzun suredir uzak durmaya calisiyordum ama uzak durmak cok kolay degil maalesef. hem heyecan verici seyler var hem de veri bilimi piyasasi buraya dogru evriliyor hype yuzunden.
  
  gorebildigim kadariyla problemleri de cok ama.
  1- buyuk modelleri genelde gpu ile calistirmak zorundasiniz ya da accelarator islemcilerle deploy edebilirsiniz. her halukarda essek gibi karbon salinimi var llm calistirmanin.
  
  2- model evaluation baya bi sikintili eger spesifik downstream tasklar icin kullanacaksaniz. hali hazirda human evaluation cok yaygin ama uzun suruyor haliyle. semantic similarity'de ise sorun yasama ihtimaliniz var.
  
  3- ornegin 70b base modeli kullanip canliya cikmak istiyorsunuz diyelim. hadi biraz daha ucuz olsun diye quantize ettiniz. bu haliyle aws icin inf2 instance 5-6 dolar bandinda saatlik calisiyor. az degil. eger kullanici sayiniz yuksekse scale-up maliyeti de cok olacaktir.
  
  4- cikarilan urunlerin fayda analizini yapmak cok zor cidden. neyle kiyaslayacaksin da faydasini maliyeti ile karsilastiracaksin? son derece soyut simdilik. somut hale gelecektir muhakkak ama yine de zor.
  
  5- prompt engineering ile is sorunu cozmek kolay ama modeli elinizdeki veri ile tekrar train etme maliyetine cesaret edemiyor kimse gordugum kadari ile. oldukca pahali surec.
  
  demem o ki, arastirmasi, ogrenmesi, uygulamaya koymasi falan cok cok kolay ve zevkli ama bi o kadar da mesakkatli ve pahali. bir de machine learning'in pabucu dama atilmis gibi gorunuyor ama bunun hata olacagini dusunuyorum. nacizane dusuncem (non-tech firmalar icin) ml'e yatirim ile alinacak optimizasyon faydasi, genaı yatirimindan alinacak faydadan daha fazla simdilik. bir iki sene icerisinde bu esitlenir saniyorum.