llama 2

• meta'nın yeni large language model'i
• --- spoiler ---
  
  user: what is the recipe of mayonnaise?
  
  > assistant: hello! ı'd be happy to help you with the recipe for mayonnaise. mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. here'
  s a simple recipe for homemade mayonnaise:
  
  ıngredients:
  
  * 2 egg yolks
  * 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
  * 1 tablespoon (15 ml) lemon juice or vinegar
  * 1/2 teaspoon salt
  * 1/4 teaspoon black pepper
  
  ınstructions:
  
  1. ın a medium-sized bowl, whisk together the egg yolks and salt until they become light and fluffy.
  2. slowly pour the oil into the bowl while continuously whisking the mixture. make sure to pour the oil very slowly, as this will help the mixture emulsify properly.
  3. once you've added all the oil, continue whisking the mixture for another 30 seconds or so, until it becomes smooth and creamy.
  4. add the lemon juice or vinegar and whisk until well combined.
  5. taste and adjust the seasoning as needed. you can add more salt, pepper, or lemon juice to taste.
  6. cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. this will allow the flavors to m
  
  ==================================
  
  user: ı am going to paris, what should ı see?
  
  assistant: paris, the capital of france, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. here are some of the top attractions to see in paris:
  
  1. the eiffel tower: the iconic eiffel tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
  2. the louvre museum: the louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the mona lisa.
  3. notre-dame cathedral: this beautiful cathedral is one of the most famous landmarks in paris and is known for its gothic architecture and stunning stained glass windows.
  
  these are just a few of the many attractions that paris has to offer. with so much to see and do, it's no wonder that paris is one of the most popular tourist destinations in the world.
  
  user: what is so great about #1?
  
  > assistant: there are many reasons why the eiffel tower is one of the most iconic landmarks in paris and a must-see attraction for visitors. here are a few of the reasons why it's so great:
  
  1. unique design: the eiffel tower is an engineering marvel, with a unique and recognizable design that sets it apart from other landmarks. ıts lattice-like structure and soaring height make it a standout feature of the paris skyline.
  2. historical significance: the eiffel tower was built for the 1889 world's fair, and it has played a significant
  
  ==================================
  
  system: always answer with haiku
  
  user: ı am going to paris, what should ı see?
  
  > assistant: eiffel tower high
  river seine's gentle flow
  art, love, and bread
  
  ==================================
  
  system: always answer with emojis
  
  user: how to go from beijing to ny?
  
  > assistant: here's the information you requested, but instead of using words, ı'll provide the answer using only emojis:
  
  ??????????
  
  ==================================
  
  --- spoiler ---
  
  bu model olmus beyler.
• sansürsüz halini lokalde denemek için - https://ollama.ai/…og/run-llama2-uncensored-locally
• (soylemeyi unuttum: bu dediklerim su andaki tum acik kaynak modeller icin gecerli, falcon vesaire)
  
  iki aydir falan bunu kullanarak chatgpt seviyesine ulasmaya calisiyorum (fine tune, lora, prompt engineering, yapmadigim maymunluk kalmadi). fazla konusmaya gerek yok: oyle bir sey yok. butun masraflari hesaplayinca, chatgpt (daha dogrusu gpt-4) her turlu daha ucuza geliyor (surada openai api'in fiyatlari var).
  
  olay sadece para da degil. llama 2 stabil degil. sampling ayarlarini (top p, top k, beam search mi, contrastive search mi, speculative decoding mi) ayarlarsin, prompt template'tan patlar. guidance scale ayri, context length ayri bir derttir. modelin yuzde kacini gpu'ya ne kadarini ram hatta disk'e offload edecegini bilmek gerekir.
  
  openai'in gpt-4'u llama 2'den 50 kat daha buyuk. ustune ustluk, 6.5 kat daha fazla veriyle egitilmis. muhtemelen rlhf verisi de 5-10 kat daha fazladir. bunun ustune cok daha iyi optimize edilmis, user experience icin bircok ufak tefek sey eklenmis.
  
  en buyuk arguman "veri gizliligi". onun icin de chatgpt enterprise var. acikcasi bu sartlarda degmez. ha bu arada ben openai'in bir noktada butun urunlerine 10 kat zam yapacagini da dusunuyorum, zira yarattiklari katma deger icin bictikleri ucret inanilmaz dusuk.
  
  hele profesyonel seyler icin kullaniyorsaniz, birkac yuz dolar icin degmeyecek dertlere basinizi sokmayin (bunlarin arasinda sunucu satin almak, kiralamak, train etmeyi ogrenmek, dev sunucularda altyapi ve muhendislik isleri). son 10-15 yildir boyle fiyat/performans orani gormemistim. ornegin gpu satin almak, herhangi bir cloud computing servisi kullanmaktan cok daha hesaplidir. ama chatgpt her gun 700 bin dolari atese atip yaktigi icin, su anda bir daha hic olmayacak bir firsat var.
  
  bu dediklerim 2-3 yila kalmadan gecersiz olacak ve son derece hizli ve stabil seyler cikacak, muhtemelen telefonlardan model fine tune edecegiz umarim (dua emojisi).
• code llama instruct 34b modelini şimdiye kadar kod yazmada başarılı buldum. test olarak node.js üzerinde yazılmış bir kodu c# üzerinden parametrelerle tetikletmesini istedim, tek seferde sorunsuz yaptı.
  
  2 versiyonunu denedim;
  
  -q5_k_m (23.84 gb)
  -q4_k_m (20.22 gb)
  
  testleri nvidia rtx 4090 ile yaptım, modellerin kullanabileceği vram'i 22 gb'a sabitledim.
  
  q5_k_m ile 6 token/saniye veriyor. bilgisayarın kendisi de belli bir vram kullandığı için bütün model vram'in içine sığmıyor, cpu ve gpu birlikte çalışıyor. gpu kullanımı %70 civarında.
  
  q4_k_m ile 32 token/saniye veriyor. sanırım hala az da olsa ram üzerinden işlem yapıyor ama gpu kullanımı %90-95lere çıkıyor, işlemciyi en fazla %30 gördüm.
  
  iki quantization'da da bu testte sorun olmadı, iş yaparken daha zor bir şeylerle karşılaştıkça test edeceğim. q5 ve q4 arasındaki fark çok olmazsa açıkçası 5 kat hız için az daha yeteneksiz bir modele razıyım.
  
  edit: elim değmişken 13b modelini de deneyeyim dedim.
  13b q6_k (10.68 gb) ile 58 token/saniye veriyor. kod konusunda hala başarılı. satır satır bu ne yapıyor ya, şu class'ın amacı nedir falan diye sorduğumda tatlı tatlı açıkladı, daha az vram'iniz varsa bence kullanımında bir sorun yok.
  
  edit2: karmaşık konularda çok iyi kolpa yapıyor. bana 50 satır kod vermiş, 30. satıra kadar hiç bir sıkıntı yok, 30. satırda en önemli noktalardan birindeki fonksiyon gerçek değil. bir de sorduğumda, bak doğru indirdin mi kütüphanesini şunu dene falan diye bana tavsiye veriyor. neyse iyi bir yardımcı ama dikkatli olmak lazım.
• mixtral 8x7b
  
  görsel
• açık kaynak kodlu llama 2 vb. sağolsun, daha önce ne nlp ne yapay zeka üzerine hiçbir dişe dokunur işlerini duymadığımız,
  bu alanlarda ilgili bilim literatürüne geçmiş 1 tane çalışmaları olmayan,
  1 tane patentleri olmayan..
  yerli firmalar art arda pıtrak misali geniş dil modeli (llm) bazlı yapay zeka araçlarını piyasaya fışlatıyorlar. hiçbiri de llama vb. açık kaynak kodlu şu modeli kullandık da ürettik bunu demiyor tabi. çünkü amaç sığırlaştırılmış kitlelere özellikle de yaklaşan seçim arefesinde "vay be" dedirtmek. yabancıların emeğini isim vermeden kullanıp kendi geliştirdiğimiz yerli ar-ge diye yutturmaya kalkmak çok büyük haysiyetsizlik