bert

• bir arkadaşla konuşurken aklıma geldi içimi dökeyim dedim.
  
  bert ne diye soracak olursanız, bir dil modeli. şöyle düşünün, biri sizin için bütün interneti scrape edip bir yapay zekaya atmış. belli başlı yapabileceğiniz şeyler var, paraphrasing gibi, bilgi çıkarma gibi, belgeleri kategorilere ayırma, chatbot yapma gibi. bunlar doğal dil anlama (nlu) içerikli işler. şirketlerin gündelik işleri genelde bu görevlerden oluşuyor. siz bu kocaman ham modeli bu görevleri yapabilecek şekilde terbiye edebiliyorsunuz, buna fine tuning deniyor. bert genelde seo, pagerank, belge sınıflandırma, bilgi çekme (mesela hukuk dokümanlarından form doldurma) gibi görevlerde kullanılıyor. milyarlarca dolarlık işleri otomatize ediyor. bir de büyük kardeşi t5 var o da hem anlıyor hem üretiyor, ben chatbot eğitmek için sentetik veri üretmek adına paraphrasing yaparken kullanıyorum genelde, bizi çok büyük bir dertten kurtardı. bunun dışında yıllık geliri 50k pound olan argeci arkadaşların makalelerini okuma süreçlerini otomatize ettim şirkette, ve bundan çok fazla adam saat tasarruf ettik.
  
  neyse arkadaşla konuşuyorduk, dedik üretici dil modelleri (en popüleri gpt serisi) asla iş problemlerini çözmüyor ama bert ya da t5'ten çok pazarlanıyor. çünkü bunlara iki üç buzzword sıkıştırınca çok kolay hibe ve yatırım alıyorsunuz. yaptığınız şey açık kaynaklıymış, tonla problem çözüyormuş bunların pek önemi yok gibi. bert devrim niteliğinde olup diğer modelleri (glue lider tablosunda) tokatlasa bile hakettiği değeri görmüyor. bu modeli alıp çok kolay fine tune edebiliyorsunuz ve bu küçük şirketler için bulunmaz bir nimet çünkü onların gpt-3 gibi api'lere ödeyecek parası yok ve açık kaynak erişilebilir model demek demokratizasyon demek, endüstri 4.0'ın bazı şirketlerin tekelinde olmaması demek, herkesin yz'yi kullanabilmesi ve piyasada rekabet edebilmesi demek. microsoft bu yatırımlarına devam ettikçe bu trend devam edecek ve şirketler rekabet edemeyecekler, orta ölçekli işletmelerin başı ezilecek, kendi startupınızı yapmak isterseniz kullanamayacaksınız. bunları anlatınca sıkıcı oluyoruz hep ama birileri bunu konuşmak zorunda ki herkes neyin ne olduğunu bilsin.
  eyyorlama bu kadar.
• hf tarafından distillation kullanılarak çıkarılmış distilbert bert'ten çok daha küçük olmasına rağmen bert'teki bilginin neredeyse tamamını koruyor. gelecek küçük cihazlar ve her yerde çalışabilen modellerde.
• açılımı "bidirectional encoder representations from transformers" olan bir dil modeli. google araştırmacıları tarafından 2018 yılında yayınlanmış.
  
  google arama sonuçlarının daha doğru ve verimli çalışmasında büyük katkı sahibidir. bu anlamda dünyaya yaptığı katkı küçümsenmeyecek kadar fazladır. son 1 haftadır intent classification görevi için geliştirmeye çalışıyorum. şu ana kadar iyi sonuç çıkarıyor. nlp çalışan her sıcak kafanın bilmesi gereken bir large language model.
• budu'nun ingilizce ismi..
• hollanda dan bir erkek ismi.
• kullanıcı aramalarını daha iyi anlamak için google'ın yararlanmaya başladığı, jacob devlin ve arkadaşları tarafından geliştirilen nlp ön eğitim tekniği. hatta lite versiyonu da vardır, onun adı da albert'tir. şakası yok.
  
  bkz.
• soru yanıtlama sistemi olarak kullanılan örnek için giriş seviyesinde açıklama sağlayan yazı hazırladığım güzel model.
  
  https://aliorhun.medium.com/…inde-bert-b390aa5ceea4
• bir troll..
  
  tom ve william isimli iki kardeşiyle beraber dağda yaşarlarken yemek bulmak için aşağı bölgelere inmiş^*, rivendell'e giden yolu mesken tutmuş ve bölgedeki tüm ahaliyi oradan kaçırmışlardır.. yolculara pusu kurar, çevredeki köylere ve çiftliklere saldırırlar..
  
  kırmızı kitap'ta yazdığına göre, sevgili bilbo ve cüce yoldaşlarını tutsak ettikleri o meşum gecede onları nasıl pişireceklerini tartışırlarken gandalf'ın oyuna getirmesi ile bir yaz sabahı taşa dönmüşlerdir..
  
  sevgili bert'in taştan bedeni hala rivendell yakınlarındaki o ormanın içlerindedir.. allah taksiratını affetsin..
  
  (bkz: kırmızı kitap)
  (bkz: hobbit)
  (bkz: bilbo)
  (bkz: yalnıztopraklar)
• parlak aydınlık anlamına gelen pagan kökenli hristiyan adı.
• nlp deki en sağlam model (halka açık). google ı gerçekten 10 adım öne geçirmiştir. doğru yatırımların doğru sonuçlara görüldüğünün apaçık delilidir.
  
  google şu an dünyada ai üzerine en çok akademisyen barındıran kurum. evet akademisyen bildiğiniz paper yazıyorlar.