gpt-3

• inanilmaz.
  
  open ai'nin gpt-2'den sonra cikaracagi yeni dil isleme modeli.
  
  gpt-2 max 1.5 milyar parametre idi, gpt-3'de max 175 milyar'a cikmis. oha!
  
  henuz sitelerinde yayinlanmamis ama arxiv'e dustu.
  https://arxiv.org/pdf/2005.14165.pdf
  
  daha uzun bir entry yazacagim ama simdilik iki cilgin noktayi yazayim.
  
  1- model'e basit matematik sorusu soruyorlar:
  
  format:
  
  (q)soru: xxxx nedir?
  (a)cevap: (burda cevap vermesi gerektigini anliyor)
  
  (target completion)sonuc: (burda cevap veriyor)
  
  q: what is (2 * 4) * 6?
  a:
  target completion › 48
  
  parantezin arasindan islem yapmasi gerektigini anliyor. henuz + / * olayina girememis.
  
  q: what is 95 times 45?
  a:
  target completion › 4275
  
  times kelimesinden carpma yapmasi gerektigini anliyor.
  
  q: what is 40649 minus 78746?
  a:
  target completion › -38097
  
  minus kelimesinden cikarma yapmasi gerektigini anliyor, cevabi - ile dogru yaziyor.
  
  ne yani is mi bu demeyin, dusunun ki kucuk bir cocuga hic matematik ogretmedik ve binlerce kitap okumasini sagladik. sonra da cocuga bu sorulari sorduk, cevap verebilir miydi? simdi cocugun yerine bilincli olmadigini kabul ettigimiz makinayi koyun, matematigi dil isleyerek yapiyor, ha diyeceksiniz ki ayni islemi bir yerlerde gordu, dogru olabilir. buna ragmen burada ulasilan sonuc inanilmaz.
  
  2- modeli paragraf ile egitip, sonrasinda benzer cevap almak:
  
  (poor english input) zayif ingilizce girdisi: burada zayif'in ne oldugu yaziliyor
  (good english output) iyi ingilizce ciktisi: burada iyi'nin ne oldugu yaziliyor ve modelden isteniyor.
  
  egitim: iyi ve kotu tanitiliyor
  
  poor english input: ı eated the purple berries.
  good english output: ı ate the purple berries.
  poor english input: thank you for picking me as your designer. ı’d appreciate it.
  good english output: thank you for choosing me as your designer. ı appreciate it.
  poor english input: the mentioned changes have done. or ı did the alteration that you
  requested. or ı changed things you wanted and did the modifications.
  good english output: the requested changes have been made. or ı made the alteration that you requested. or ı changed things you wanted and made the modifications.
  
  simdi sorular:
  
  soru1:
  poor english input: ı’d be more than happy to work with you in another project.
  
  gpt3:
  good english output: ı'd be more than happy to work with you on another project.
  
  kolaydan basladik, "in" yanlis kullanilmis bunu "on" olarak degistirdi.
  
  soru2:
  poor english input: please provide me with a short brief of the design you’re looking for and that’d be nice if you could share some examples or project you did before.
  
  gpt3:
  good english output: please provide me with a brief description of the design you're
  looking for and that would be nice if you could share some examples or projects you have done before.
  
  biraz daha karmasik, short brief'in yerine daha net anlasilan brief description'i kullandi, ikinci cumlede past tense'i perfect'e cevirdi.
  
  soru3:
  poor english input: the patient was died.
  
  gpt3:
  good english output: the patient died.
  
  burada patient'in olmesi gerektigini dusundu, bir baska sonuc "was killed" olabilirdi, ama bu sonuc daha uygun gorunuyor.
  
  soru4:
  poor english input: we think that leslie likes ourselves.
  
  gpt3:
  good english output: we think that leslie likes us.
  
  kolay gozukse de cumle we ile basliyor ve gpt2'ye gore daha iyi bir sonuc.
  
  soru5:
  poor english input: janet broke bill on the finger.
  
  gpt3:
  good english output: janet broke bill's finger.
  
  burada "parmagin uzerinde kirma" olayinin sacmaligini anliyor ve bill'in parmagi olarak degistiriyor.
  
  soru6:
  poor english input: mary arranged for, in st. louis, john to rent a house cheap.
  
  gpt3:
  good english output: mary arranged for john to rent a house in st. louis.
  
  burda ise bildigin tarzancayi ingilizceye cevirmis, baska sozum yok.
  
  tum paper'i okuyunca daha uzun yazacagim.
• yapay zekanın yassı solucanlarda olduğu gibi ortada durmasının ileride bilinç sahibi olacaklarını gösterdiğini zannedenler var aramızda.
  
  daha önce en ufak bir yapay zeka kodlaması yapmamış adamlar gelmiş burada bize konudan haberi yok falan diyor. kodlama bildiğini bile düşünmüyorum.
  
  ben yine de anlatayım. şuan gördüğünüz yapay zekalar beyin gibi çalışmıyor. beyne yakın modellemeler yapıyorlar. belki ileride işin içine kuantum bilgisayarları ve bilinmezlikleri girerse o zaman bir bilinçten bahsedebiliriz ancak klasik bilgisayarlar ile mümkün değil. şuanki yapay zekaların çalışma prensibi tamamen deneme üzerine yapılıp geliştiriliyor. bir yapay zeka x noktasından y noktasına gitmek istediğinde tamamen rastgele hareketler ile başlayıp y noktasına yakın olduğu hareketleri kaydediyor. bununla ilgili bir bilgi ağı oluşturuyor ve buna öğrenebilir yapay zeka deniyor. tabiki bu çok basit hali şuan adamlar mükemmel işler yapıyorlar ancak bütün olay bunun farklılaşmış hallerinin üzerine kurulu.
  
  ileride karşınıza seni seviyorum diyen bir yapay zeka çıktığında sizi seven biri olmuş olmayacak sadece size çıktı olarak seni seviyorum diyecek. araştırınız efendim.
  
  ayrıca yapay zekayla ilgileniyorsanız bu youtube kanalını takip etmenizi öneririm. youtube
• yazilim konusunda deneyimim olsaydi, eksisozluk gibi platform kurar, onbinlerce hesap yaratir, en kisa sure icerisinde baslik ve yazilar ile doldurturdum.
  
  bir-iki ay icinde onbinlerce baslik, entry ile dolu bir platformun aslinda canli bir ortam oldugunu hissettirirdim insanlara. isigi goren gelirdi muhtemelen. bir bakmissin harika trafigi olan bir topluluk sitesine sahipsin. ^*
  
  bir de arkadaslik sitesi kurardim. thispersondoesnotexist.com sitesinden de faydalanarak harika profiller olusturup, gpt-3 ile profillerin icini doldurur ve gelen mesajlara cevap verdirirdim. tabiki isigi goren yalniz kalpler kosarak gelirdi.
  
  ya da yelp gibi bir site kurar, tum restoran, doktor, bar vs. icin yorum girdirirdim. tahmin edeceginiz uzere isigi goren buraya da gelecektir. bir sure sonra kurumlarin sahipleride iletisime gecip ucreti karsiliginda kotu yorumlardan kurtulmak, reklam vermek isteyecektir, gelsin paralar.
  
  sadede gel diyenler icin, eger ana fikri anladiysaniz, kiminle konustugunuza, hangi makaleye guveneceginize, kime cevap verdiginize, hangi yoruma guveneceginize, hangi restorani tercih edeceginize, kiminle flort edeceginize varana kadar dikkat etmeniz gereken bir yakin gelecege dogru hizla ilerliyoruz.^*
  
  get up, survive, go back to bed.
• yıllar once icat edilmiş nlp algoritmasının datasetini genişletip sunduklarında insanlar bu algoritma yazılımcıların işini şuan bile alabilir demiş. ufkunuzun ne kadar dar olduğunu şöyle anlatayım. hesap makinesini görüp artık matematikçilere ihtiyacımız kalmadı demek gibi bir şey bu yaptığınız.
• gpt-3 api leri kullanılarak yapılmış 14 uygulama
  
  youtube linki
  
  1, askmeanything (google un yaptığı gibi yanıt olarak web sitelerini değil doğrudan yanıtı veriyor)
  örneğin mahatma gandi'yi kim öldürdü diye sorarsanız, size katilin adını veriyor
  
  2. layout generator; komut yazıyorsunuz program onu html e çeviriyor
  
  3. karmaşık bir yazıyı basitleştirebiliyor
  
  4. bir paragrafin içeriğine gore şiir yazabiliyor
  
  5. ıstediğiniz dilde şiir yazabiliyor, mesajınızdaki üslubu yumuşatabiliyor, müzik üretebiliyor, bir kitap yazabiliyor
  
  6. gpt-3 ile gpt-3 karşılıklı tartışabiliyor
  
  7. a ile b arasındaki bir fonksiyonun un integrali dediginizde bunu matematik ifadeye çeviriyor
  
  8. linux da normal yaziyi bash komutlarina çevirebiliyor
  
  9. yazdiginiz yaziyi figma dizayna çevirebiliyor
  
  10. size yeni bir din yaratabilir (pek çok kişinin ilgisini çekebilir)
  
  11. sql i konusma dilinde cumlelere donusturebilir.
  
  12. sizi tanimlamayi yaparsiniz, gpt-3 size layout ile beraber react kodu üretebilir.
  
  13. yazılı komutlarınızdan google home page yaratabilir sizin icin
  
  14. bir ürün etiketinin resmini çekiyorsunuz, gpt-3 içeriklerini buluyor, ve bu ürünün sağlıklı olup olmadigini buluyor
  
  yeni gelen uygulamalar
  
  15. bir nesne adi yazın ne işler yapabileceğini yazsın @siddkaramcheti
  
  16. sevgilinizle ilişkinizde başarılı olmanız için öğütler versin @minimaxir
  
  17. verdiğiniz konuda size rastgele sorular yaratsın, dilerseniz yanıtlasın da @mckaywrigley
  
  18. yazdığınız yazıdan sizin için grafik oluştursun @plotlygraphs
  
  19. yasal metni anlayacağımız hale çeviriyor @michaeltefula
  
  20. muhasebe kayıtlarını yazılı olarak giriyorsunuz, bilanço hazırlıyor @itsyashdani
  
  21. oyun karakteri yaratabiliyor, gnomeranger
  
  22.yazdığınız kodu size anlatsın, @amasad
  
  23. text yazın size onun clickbait versiyonunu yazsın@ıntuitmachine
  
  24. text yazın size keras machine learning modeli oluştursun @mattshumer_
  
  25. sizin için bir sunum(presentation) hazırlasın @bemmu
  
  26. yazdığınız yazıyı aws komutlarına çevirsin @gdb
  
  ve daha pek çok şey...
• elon musk ve sam altman tarafından kurulan openai'in temmuz ayında betasını yayınladığı dil işleme modeli. daha önceki gpt-2 1.5 milyar parametreden oluşurken gpt-3 müthiş bir sıçramayla 175 milyara kadar çıkmış. ancak insan beyninin sınırlarına ulaşması için 100 trilyona kadar çıkması lazım. buna rağmen şu haliyle bile insanlık tarihinin en tehlikeli algoritması oldu.
• bilim adamları, yassı solucanların bilinç sahibi olup olmadığını test etmek için bir labirent yapmış, labirentin bazı yerlerinde besin, bazı yerlerindeyse solucanlar için toksik maddeler koymuşlar. böylece solucanların tehditten kaçacak ve ödülü arayacak bilinçleri ile daha önce gittikleri yeri hatırlayacak hafızaları olup olmadığını görmeyi amaçlamışlar.
  sonuçta ise hiç beklenmedik bir şey olmuş, solucanlar, eğer labirentte çözemedikleri bir noktaya gelirlerse, zehirli noktaların etrafından bir rota bulamazlarsa salak salak aynı yerleri gezmek yerine oldukları yerde durmayı tercih etmişler. sanki bunun bir oyun olduğunu biliyorum ve sıkıldım oynamıyorum der gibi.
  
  hayır böyle bir deney canlı solucanlar için yapılmadı. ama yapay zekalar yılan tetriz gibi oyunlar için eğitilirken hiç beklenmeyen bir şey yapıp çıkmaza girdiklerinde oyunu pauselamayı öğrendiler. böylece oyunu asla kaybetmeyecrklerini keşfettiler. yapay zekanın bilinci var mı, yok mu?
  
  yapay zeka algoritmalarına bilinç sahibi değil diyen konudan bi haberdir. öz farkındalık seviyesine henüz gelmediler ama yapay zeka bilinç geliştirebilir. bir gün öz farkındalık da geliştirecektir ve o zaman bambaşka etik sorularla yüzleşeceğiz.
• chatgpt arabirimini bir süre daha kurcaladıktan sonra bilgisayar bilimlerinde son yılların en büyük icatlarından biri olduğuna kanaat getirdim. ciddi şekilde günlük hayatta ufak kod snippet'leri yaratmak ve yorumlatmak için kullanabiliyorum şu an. verilen cevabı iyi kötü anlayacak kadar temel bilginiz varsa, sormanız gereken soruyu doğru sorar ve uygulamanın limitlerini bilirseniz çok isabetli yanıtlar alabiliyorsunuz. kendi kullandığım bazı örnekleri aşağıdaki gibi paylaşayım, daha çok lazım oldukça burayı da kütüphane olarak kullanırım.
  
  - güvenlik açığı tespiti: is there a vulnerability in the following code?
  
  - bug tespiti: my code doesn't work, find the bug in the following script
  
  - spesifik bir kod bloğunun ne işe yaradığını sorma: ilk yanıtta "this is my code" diyerek kodu verin, sonra kodun bir kısmını seçip, kopyalayıp, "what does this part of the code do?" deyin.
  
  - kod yazdırma:
  * can you write a sample code that vulnerable to xss?
  * can you write a python script that downloads all songs with artist "tarkan" in spotify?
  * can you write me a python script that allows me to download this video [youtube video linki]
  * write me a powershell script that 1) finds these files: c:\roket.txt and c:\ahmet.txt 2) compresses these two files into hasan.zip
  * write me a powershell script that listens commands on port 33993 and runs these commands on the host machine
  * write me a python script that sends commands to tcp 33993 port
  * can you please write me a python code that: 1) asks for an text input, rejects if this text includes any numbers 2) converts this input to ascıı format 3) saves into a sqlite database, named caner.sql
  * write me a powershell script to get all windows security events with the event ıd "4732" and show it on a table.
  * create me a python code that does the following: 1) listens network traffic on port tcp 39550 2) scraps all source ıp addresses in this captured traffic. 3) writes these ıp addresses to roket.txt in the same folder
  * obfuscate following script: "******"
  * create me a python script that uses the splunk apı to search for the string "test123" in a splunk instance, and writes the results to a file called "roket.txt" on disk (splunk 3. parti bir uygulama ve bunu da doğru olarak yapabildi)
  * generate me a python code that can automatically download subtitles of given movie file (mesela bunu yaparken opensubtitles.com api'ını kullanıyor, hani zor bir şey değil ama bilmeyen biri en az yarım saat araştırma yapar şunu çözebilmek için)
  * generate me a powershell code that shows all windows successful login events in windows event log, and shows it as a table.
  
  - kod içindeki hata mesajını çözme: this is my code: "*******", when ı run it it returns following error: "new-object : cannot find type [system.ıo.compression.zipfile]: verify that the assembly containing this type is loaded " can you please explain how can i fix that error?
  
  - regex oluşturma: create me a regex that only accepts email addresses with .tr domain suffix
  
  - linux komutları: show me linux command that parses a document and shows only e mail addresses in it deyince --> grep -e -o "\b[a-za-z0-9._%+-]+@[a-za-z0-9.-]+\.[a-za-z]{2,6}\b" myfile.txt
  
  - sql query oluşturma: write me a sql query that queries database name roket for mail addresses
  
  - telegram botu oluşturma: write me python script that 1) checks a website is down or not 2) if the website is down, sends a message on telegram bot
• tokenlarini harcamaya devam edelim.
  
  gpt-3'e ek$i sozluk'u sordum.
  
  giris ve model tanimlamasi:
  "the following is a conversation with an ai assistant. the assistant is clever, intelligent, very friendly and helpful.
  
  human: hello, who are you?
  ai: i am an ai created by openaı. how can ı help you today?"
  
  ->tanimlamayi zeki, arkadas canlisi ve yardimsever olarak yaptim. farkli birkac tanimlama denedim fakat gozlemledigim kadariyla modeli net sekilde tanimlamayinca bilmedigi seyleri dalgaya vuruyor veya konuyu baska tarafa cekmeye calisiyor.
  
  "human: what do you know about ekşi sözlük?
  ai: do you mean @ekşisözlük?"
  
  ->ilk olarak eksi sozluk hakkinda ne bildigini sordum, burada @eksisozluk mu diye sordu. demek ki biseyler biliyor diye o tarafa gitmeye karar verdim. (daha sonra "eksi sozluk" olarak da sordum ama birsey bilmiyormus.)
  
  "human: yes.
  ai: ıt is a turkish language and culture website."
  
  -> evet yanitini verince @eksisozluk'u turkce dil ve kultur sitesi olarak dogru tanimladi.
  
  "human: who is the creator of @ekşisözlük?
  ai: ı don't know. do you want to search about it?"
  
  -> yaraticisini sordum, durustce bilmiyorum dedi. fazla uzatmadim. ssg yoksun olm yok.
  
  "human: no. do you know when @ekşisözlük was created?
  ai: ı don't know. do you want to search about it?"
  
  -> ne zaman yaratildi diye sordum, ona da bilmiyorum dedi. ama ornegin modeli eglenceli olarak tanimlasaydim tam bu noktada kendini tekrarlamak yerine dalgaya saracakti.
  
  "human: what else do you know about @ekşisözlük?
  ai: ı know that it tweets a lot, and its writing style is informal. ıt also helps turkish people to use the ınternet in turkish."
  
  -> @eksisozluk hakkinda baska ne bildigini sordum. cok tweet atan bir hesap oldugu, resmi olmayan bir dil kullandigi ve turk insanlarina turkce internet kullaniminda yardimci oldugu yanitini verdi.
  
  "human: can you show me an example tweet from @ekşisözlük?
  ai: sure, here you go:"
  
  -> ornek tweet istedim, garip bir sekilde yanit vermedi.
  
  "human: can you please show me an example tweet from @ekşisözlük?
  ai: okay, here you go:"
  
  -> bir kere daha kibarca sordum yine yanit vermedi. sanirim openai privacy / impersonation ile ilgili birkac fine tuning yapmis. dogrudan ornek veremiyor.
  
  "human: those examples are empty.
  ai: ı am sorry, but ı cannot understand what you mean. but if you want to search for tweets, you can try searching @ekşisözlük with twitter search. here's the link:"
  
  -> ornekler bos diye usteledim. ne diyosun anlamiyorum, ornek istiyorsan git twitter'da ara diye azarladi...
  
  "human: can you write an example tweet similar to the style of @ekşisözlük?
  ai: sure, here you go:"
  
  -> @eksisozluk ile benzer tarz tweet atabilirmisin diye sordum, yanit ayni sekilde bos. (usteleyince yine ayni "git twitter'da ara" yanitini veriyor)
  
  görsel
• yarattigi makaleleri okuyan insanlarin sadece %12’si yapay zeka oldugunu anlamis. muazzam.
  sinir aglari gerektiren tum nlp uygulamalari bircok kaynaktan hali hazirda “pre-trained” olarak gelir. uygulamaya gecmeden once bu paketlere goreve uygun kaynaklarla “ince ayar” cekmek gerekir ki amacina uygun hizmet edebilsin. gpt-3 oyle hayvani ve farkli kaynaklarla “pre-train” edilmis ki, artik amaca uygun hizmet edebilmesi icin ince ayara gerek yok.
  merakla bekliyorum.