nvidia

• çip kopyalamak diye bir şey yok çünkü çipin bütün blueprintini elinde tutsan bile onu üretebileceğin araçlar ve yöntemler belli başlı şirketlerin tek elinde bulunan ve başta abd olmak üzere batı devletleri tarafından milli güvenlik unsuru olarak kabul edilerek çok saklı tutulan bir konudur.
  
  bu yüzden de abd, çin'in semiconductor alanındaki çalışmalarını limitlemeye çalışarak çin'i abd'nin yaklaşık 8-10 yıl gerisinde tutmayı hedeflemektedir. bu da şu demek, abd bugün tayvan ile beraber 3 nm çipler üretirken, çin'in 14 nm çipler üretebilecek bir kabiliyette tutulmasını hedefliyorlar. peki bu ne işe yarar derseniz, da abd kendi son teknoloji çipleriyle yapay zekayı daha hızlı, daha güçlü eğitirken, çin'in yapay zekada abd'yle yarışamaz bir noktaya bırakılmasıı demek oluyor.
  
  fakat onca ambargo ve uğraşa rağmen, bu sene çıkan huawei mate 60 serisi telefonlardaki kirin 9000 çipinin 7 nm boyutunda olması ile çin'in semiconductor teknolojisinde 8-10 yıl değil, en fazla 4-5 yıl geride olduğunun ortaya çıkması abd tarafında endişelere yol açtı.
  
  dünyada çip konusunda belli başlı dar boğazlar vardır. dünyadaki en ileri çip üretim yöntemleri tayvanlı tsmc firmasında bulunuyor. tsmc ise çip üretimi için dünyanın en gelişmiş lithography makinelerini üreten hollandalı asml firmasının makinelerini kullanıyor. asml ise makinalarında sadece alman optik firması zeiss'in istenen şekilde üretebildiği lensler kullanıyor. sürecin daha derin detayları var ama kısacası dünyadaki son teknoloji çip üretimi zinciri bu 3 dar boğazdan geçerek geliyor. bir de abd'li bir firmanın sağladığı yazılım var ama dediğim gibi kabaca böyle.
  
  çin bu sürecin dışında tutuluyor. ne bahse konu lense, ne makineye, ne de üretim yöntemine sahip. bunların daha "eski" versiyonlarına sahip diyelim. sürekli kendilerini geliştirmek için çabalıyorlar. hatta geçenlerde asml'deki bir çinli çalışanın veri ajanlığı yaptığı ortaya çıkmıştı ama asml çalınan bilgiler kritik değildi açıklaması ile konuyu kapattı. kısacası çin günümüzde 3 nm yerine en fazla 7 nm çip üretebiliyor, konu böyle.
  
  dolayısıyla nvidia bugün çiplerinin tüm blueprintini kamuya açsa bile, tsmc'ye, asml'in makinelerine falan erişimi olmayan kimsenin o çipleri üretme gibi bir hayali olamaz. zaten tsmc demek abd demek olduğu için konu kilit.
  
  çin'in bitmek bilmez bir şekilde tayvan'ı işgal etme isteğine bir de bu açıdan bakarsanız abd'nin neden bu uğurda 3. dünya savaşı bile çıkarabileceği daha iyi belli oluyor.
• mulakat sureci oldukca zahmetli ve uzun olan sirket. kisisel deneyimimi ozetleyecegim. compute developper technologies engineer (phd new grad) pozisyonuna kariyer sayfalarindan basvuru yaptim. iki hafta kadar sonra sureci baslattilar. ilk mulakat hiring manager ile oldu 90 dakika surdu; karsilikli backgroundlari paylastiktan sonra architecture ve c++ spesifik sorular vardi. ardindan ikinci seviye mulakatlar basladi. bu asamada 60ar dakikadan iki telefon mulakati ardindan cpu ve gpu programming assignmentlari (her biri icin iki gun) oldu. telefon mulakatlari genel cs bilgisi ve algoritmalar uzerineydi, programming assignmentlarin biri performance optimization digeri parallel algorithm design uzerineydi. sonrasinda onsite mulakata cagirdilar.
  
  onsite mulakatlarda 7 muhendisle 45'er dakika teknik mulakat ve en sonunda 15 dakika recruiter ile behavioral mulakat yaptilar. sadece 15 dk mola oldu, mulakatlar ardi ardina yapildi. teknik mulakatlar cok genis bir yelpazede oldu, bana deep learning, numerical linear algebra, computer architecture ve parallel algorithm design sorulari sordular. mulakatlari yapan 5 kisinin phd'si vardi ve 3'u stanfordluydu. yuzeysel bilgileri genel olarak kabul etmediler derine indiler. sahsen google, facebook ve nvidia arasinda en cok takdir ettigim muhendisler nvidia'dandi. iki tane mulakatta tek kelimeyle batirdim, hic bilmediginiz bir alandan soru gelme olasiligi cok yuksek. nette nvidia mulakatlari hakkinda pek bir bilgi yok ama ben asagida yazacagim uc kitabi okumanizi tavsiye ederim.
  
  ıntroduction to parallel computing, grama et al.
  programming massively parallel processors, kirk et al.
  deep learning, goodfellow et al.
• tek amacı maximum kar olan firma. tam bir apple çakallığı.
  
  ilk olarak oyuncular tarafından hayvan gibi beklenen oyunların, yapımcısı ile anlaşma yapar. destek veriyor, özel programla yapıyor gibi gözükür. fakat tek yaptığı iş çıkacak olan oyunun amd ekran kartlarıyla uyumlu çalışmamasını sağlamaktır. sonra oyunun introsuna yapıştırırlar şatafatlı nvidia yazısını, oyuncularda "vay amk pahalı aldık ama bak nvdia nası destek veriyor oyunlara" der. aslında yapılan göz boyamadan başka bişi değildir. o kadar uçuk fiyatı haketmeyen kartları yüksek fiyattan satıp, keyfine bakar. destek filan hikaye.
  
  970'le zaten en büyük yanlışı yaptı. var olan sorunu sanki kendi yaptıkları özel bi teknoloji olarak pazarlamaya kalktılar. tabi yer mi elin pc manyağı gavuru, hemen kanıtlarla açıklayarak çürüttüler nvdianın dediklerini.
  
  ki sadece tek sorun bu da değil. 970'in coil whine vs. bir sürü sorunu çıktı.
  
  tamam amd o kadar iyi olmayabilir, ama sırf bunların çakallığı yüzünden beklenen kadar iyi olamıyor. zaten amd asıl golü, xbox one ve ps4 için kart üretmesiyle attı. ayrıca yeni nesil konsolların x86 ve amdnin apusu üzerinden oynanması gibi sebeplerle yeni nesil oyunlarda amdnin oyun optimizasyonunun daha iyi olacağını söylüyorlar. tabi bu ne kadar doğrudur orasını bilemiyorum.
  
  tek bildiğim şey bu firmanın tam bir çakal olması.
• dusme sebebini kimse bilmese de tahminler soyle:
  
  - iran-israil kriziyle alakasi yok.
  
  - carsamba gunu asml bilancosu aciklandi, 2024 tahminleri durgun, 2025'ten itibaren canlanma bekliyorlar.
  
  - taiwan semiconductor $tsmc bilanco acikladi, otomotiv cip uretiminde daralma gerceklesebilir, ancak nvidia'nin icinde oldugu data center cip uretimi hala guclu dediler.
  
  - super microcomputers $smci son 4 ceyrekte, bilanco aciklama tarihiyle beraber tahmini bir rakam acikliyordu. dun bu rakami aciklamadilar. piyasa en kotusune hazirlandi ve %23 dustu. smci, nvidia data centerlari icin server uretiyor. ayrica musterinin istegine gore kisisellestirilebilen cpu, ram, gpu iceren "rack" uretimi de yapiyor. bunlarin kotu rakamlari, nvidia icin bir isaret olabilir diye dusundu piyasa.
  
  ama, huang'in yeni kankisi dell'in sahibi michael dell, bunlar smci'a alternatif. huang da zaten hemsehrisi olmasina ragmen bi pislik dondugunu bilmis olacak ki, gtc konferansinda smci'in adini hic anmadi. bu cuma cikan, smci h100'leri abd yasaklarini delerek cin'e satiyor haberi de ustune tuz biber oldu. smci bana da ilk ceyrekte guzel kazandirdi, ama simdi gunde %50 de artsa bulasmam. abd adalet bakanligi sorusturma haberiyle bi anda %95 cokebilir, bildigin kumar.
  
  - zuckerberg, llama'nin large language model'ini acik kaynak yapacagi haberi de olamaz. bu durumda cip satislarinin artmasi beklenir.
  
  ama zuckerberg'in, cip satislarinda darbogaz yok, ama enerjide var. bunca data center'a nasil elektrik verceksiniz? diye sormasi biraz panige sebep oldu. soru mantikli, zuckerberg bilgi olarak derya deniz, amma ve lakin benim fikrim enerjinin cozumu en kolay sorunlardan biri oldugu yonunde.
  
  jeff bezos daha yeni amazon data center'lari icin 650 megawatt'lik bir santral satin aldi. endustri devrimi ciktiginda bunca motor icin komuru, benzini nerden bulcaz diye sektor ilerlemez sorusu gelisimi baltalamadi, enerji cozumleri bunlara paralel ilerledi.
  
  - powell'in 2024 yilinda faiz dusurme olmayabilir demesi de bence sebep degil. dunku yikim sadece yari iletken sektorunun icinden gecti, diger stoklar hep yesil. piyasanin zaten bu enflasyonla faiz indirme beklentisi yok. abd'de resmi bir resesyon gostergesi de yok.
  
  - ben hala ai sektorunun balon olmadigini dusunuyorum. magnificent 7 deli gibi para basiyor ve ai'ye yatirim yapma luksleri var, kucuk bi ihtimal ai patlasa bile sallamazlar. zaten price to earnings ortalamasi 25-30 olan sirketlere balon dersen kafana stock market 101 kitabi atarlar.
• gerizekalılara çekilişi kazansalar bile ödül vermeyi reddeden şirket. http://i.imgur.com/d3snj.png
• birincisi, bir çipe "bakıp" onu kopyalayamazsınız. çinli ya da başka bir ülkeden olmanız bir şeyi değiştirmez. çünkü bu fiziken mümkün değildir. bu new york'a uzaydan uyduyla bakıp insanlarıyla filan hep beraber biz bunu yozgat'a da yaparız demek gibi bir şey.
  
  ikincisi çip üretiminde "blueprint" diye bir şey yoktur. eğer blueprint'ten kastettiğiniz çipin içindeki komponentlerin dizilimi ve birbirine bağlanmasına dair teknik detaylar ise buna reticle denir. kağıda basım bir şey de değildir. basitçe anlatmak gerekirse, bir cama incecik çizgilerle çizilmiş bir maske gibi bir şeydir. çipler katman katman üstüste denk geldiği için her bir çip üretimi için birden çok reticle gerekebilir. bu reticle'lar şirketlerin namusu gibi şeylerdir. hem kanunen hem de fiziken çok dikkatlice korunur ve saklanırlar. öyle ha diye çalamazsınız, kopyalayamazsınız.
  
  hadi diyelim bağladınız üzerinize bombaları, bastınız tsmc'yi, dediniz ki "adım bomba soyadım bomba ulan! getirin nvidia'nın bütün reticlelarını". onlar da "aman abi" diye getirdiler verdiler. önünüzde iki seçenek var, ya tsmc denen 50 yıldır bu işe uzmanlaşmış bir fabrikayı ha diye bir yere kuracaksınız, ya da tsmc'yi yine bomba zoruyla filan üretime zorlayacaksınız.
  
  fabrika yapma yolunu tercih ederseniz en az yirmi yıl beklemeniz gerekiyor. çünkü tsmc'ye makine yapan asml'nin gelecek 20 senelik planlarında yoksunuz. o zaman gidip bir de lithografi firması kurmanız gerekiyor. çünkü asml öyle bombayla filan tehdit edilecek bir yer değil. adamın götünden kan alırlar.
  
  tsmc'yi ele geçirdiniz diyelim, yine yemez. bu sefer de, teksas'tan gelen süper saflıkta silikonu, çevre komponentlerin üretiminden sorumlu diğer firmaları, en önemlisi yaptığınız çiplere can verecek yazılımı bir yerlerden bulmanız lazım. bunu her çinliye bomba bağlayarak bile sağlayamazsınız.
  
  velhasıl bu çip üretim olayı sandığınızdan daha çetrefilli ve kompleks.
  
  nvidia'ya gönül rahatlığıyla yatırım yapabilirsiniz. yatırım tavsiyesidir amk. bunu yazınca da ne olacaksa olsun. ^*
• grafik yani insanların gözlerine hitap eden bir iş yaptıkları ve bu nedenle logolarında göz olduğu için illuminati şirketi olduğundan işkillenilmiş.
  
  bu durumda bizim köşedeki optik hayri abi de illuminati üyesi oluyor,
  neden? çünkü optik mazağazında bolca göz olan afişler ve logolar var.
  
  alacağın olsun hayri abi.
  sana bundan sonra illuminati hayri diyeceğim.
• 10 sene evvel 500 dolara bunlardan aldığım ekran kartı yerine hisselerini alsaydım şu an 67400 dolarım olacaktı ve o parayla yaklaşık 33 adet rtx 4090 ekran kartı alabilirdim. bu vizyona sahip olan insanları tebrik ediyorum.
• artık yazılanları şöyle okumaya başladım. bu yazıda nvidia, grafik kartları ve bu kartlar için geliştirilen yazılımların neden yapay zeka alanında kullanıldığına değineceğim. ama başlamadan önce, başlığa nvidia hisseleri için yazan tatlı dilli yazarlara bir hatırlatma: nvidia hisselerinin düşeceğini ya da yükseleceğini düşünüyorsanız call^* ya da put^* opsiyonları satabilirsiniz. sizin yatırım tezinizin aksini düşünen insanların validelerine olan ilginizi dile getirmenize gerek yok. aksine, öngörülerine katılmadığınız bu bireylerden finansal getiri sağlayabilirsiniz.
  
  şimdi lise yıllarına dönelim. 11-f'den özge'yi hatırla.. matrisleri hatırladınız mı? hani şu köşeli parantezlerin içinde sıra sıra dizilmiş sayılar? bu köşeli parantezlerin içinde tek bir sayı varsa bir boyutlu, birden fazla satır ve sütun varsa iki boyutlu matris olurdu. üç boyutlu matrisler ise rubik küpü gibiydiler. ben dört boyutlu matrisleri hayal edemezdim ama sıra arkadaşım hayal edebildiğini iddia ederdi. peki şimdi bu matrislerden ikisini nasıl çarptığınızı hatırlamaya çalışın^*. birinci matristeki birinci satırdaki sayılar ile ikinci matristeki birinci sütundaki karşılıklı sayıları çarpıp sonra sonuçları toplardık, sonra ikinci sütun, sonra üçüncü sütun.. daha sonra ikinci satıra geçerdik ve bu işlemleri bütün satırları bitirene kadar tekrar ederdik. tam olarak şöyle.
  
  bu yazıyı okurken baktığınız ekranda pikseller sıra sıra dizilmiş vaziyette değil mi? arkadaşlarınızla kantır oynadığınızda, siz koşarken karakterinizin gölgesi ya da ateş ederken kurşunun izleyeceği yörünge hesaplanır, pikseller ekranınızda hızlı bir şekilde yenilenerek size akıcı bir şekilde gösterilir. bu yapılırken de calculus, linear algebra ve haliyle matris operasyonları kullanılır. fark ettiniz mi bilmiyorum ama matris çarpımı yaparken birinci satır ile ikinci sütunu çarpmak için, birinci satır ile birinci sütunun çarpımını beklemenize gerek yok. sonuçlar birbirinden bağımsız olduğu için çarpma işlemlerini eşzamanlı yapabilirsiniz. hatta, birinci satır ile birinci sütunu çarparken birbirlerine denk gelen sayıların çarpımlarını da eşzamanlı olarak yapıp çıkan sonuçları birbirlerine ekleyebilirsiniz^*.
  
  sıfır-sonsuz boyutlu matrislerin genel adı tensor'dur. grafik kartları tensor'lar üzerindeki aritmetik işlemleri hızlı ve eşzamanlı olarak gerçekleştirebilir, haliyle de çok büyük matrisleri kısa sürede çarpabilir. yani bir işlemciden^* farklı olarak grafik kartları^*, bir tane aritmetik işlemini, birçok veri üzerinde paralel olarak işleyebilir^** ve bunu da büyük ölçeklerde yapabilir.
  
  nvidia ceo'su jensen huang'ın iş zekasını burada görüyoruz; yani, gpu'ları sadece grafik çizdirmek ya da oyun geliştirmekten de öteye taşıyıp, büyük veri setleri üzerinde cpu'lardan çok daha hızlı işlem yapabilen genel kullanıma uygun bir işlemciye çevirmesi^*. haliyle de gpu'ların kullanılabileceği uygulama alanlarını genişletmesi^*. fakat şöyle bir sıkıntı var, gpu'lar üzerinde uygulama geliştirmek altı ay bilge hatun'dan ders alıp yapılabilecek kolaylıkta değil. etrafınızda kaç tane oyun motoru geliştiricisi var? nvidia, gpu'ları üzerinde uygulama geliştirmeyi kolaylaştırmak için 2000'li yıllarda cuda'yı tanıttı. basit olarak şöyle düşünün: uygulama geliştiricileri sanki işlemci üzerinde uygulama geliştiriyormuşçasına cuda üzerinde uygulamalarını geliştirebilecek, bunun paralel olarak çalıştırılmasını da cuda'ya, haliyle de cuda çekirdeklerine bırakacak. benim diyen bir cpu'da bile kaç tane çekirdek var? 32, 64? ne mutlu onlara! nvidia h100'daki cuda çekirdeği sayısı 16 bin.. pardon 16,896. fakat şöyle bir ayrım var. cpu'ların çekirdekleri çok karmaşık operasyonları çok hızlı yapabiliyorken^**, gpu çekirdekleri aritmetik ve mantık operasyonlarını yapabiliyor. ama yapay zeka modelleri geliştirmek ve çalıştırmak için bu bize yeter.
  
  gpu'ların hızları ifade edilirken flops diye bir kavram kullanıldığını duymuşsunuzdur. flops : floating point operations per second (saniyede çözülebilen ondalıklı işlem sayısı). cuda'nın sihirli elleri sadece tek bir gpu üzerinde geçerli değil. birden fazla gpu'yu beraber çalıştırıp bahsettiğim çekirdek sayısını katbekat artırabilir, birim sürede bilmem kaç milyar milyon sen ondalıklı sayı aritmetiği yapabilirsiniz. cuda çekirdekleri tıpkı güneşli bir haziran sabahında, önlerine konan matematik sorularını aynı anda çözmeye çalışan milyonlarca öğrenci gibidir: çözdükleri sorular aynı olsa da sayılar farklı ve pek tabii kopya çekmek serbest.
  
  bu öğrendiklerimiz gerçek hayatta ne işimize yarayacak peki? gpt-4, gemini, claude, vs. gibi generative ai modellerinin mimarisi transformer mimarisidir. bu modeller eğitilirken^* ve eğitilmiş modeller çalıştırılırken^* en fazla yapılan işlem bilin bakalım nedir? doğru bildiniz, ondalıklı sayılardan oluşan matrisler üzerindeki işlemler. gpt-4 hakkında paylaşılmış resmi bir veri yok, fakat gpt-3'ün sadece embedding matrisi boyutu^* yaklaşık 12,288 (on iki bin iki yüz seksen sekiz). daha bunun self-attention ve feedforward network tarafı var. herhangi bir kullanıcının sorduğu 10 kelimelik^* bir sorunun cevabı için üretilen bir metindeki tek bir kelime için bile yüzbinlerce matris operasyonundan bahsediyoruz. gpu'lar da bu işlemleri tek tek yapmak yerine, eşzamanlı olarak binlerce çekirdekte gerçekleştiriyor ve hızlıca sonucu bulup ödevlerinizi yapabiliyor.
  
  bu ise işin kolay kısmı, yani modelin çalıştırılması (inferencing). bir de zor kısmı var, modellerin eğitilmesi (training). ne demek istediğimi basitleştireyim: elinizde bir müzik uygulaması var. equalizer ayarlarını kurcalayıp, kütüphanenizdeki şarkıları dinlerken kullanmak istediğiniz ideal ayarları bulmak için uğraşıyorsunuz. rastgele bir ayar denediniz ve ilk şarkıyı dinlediniz. pek beğenmediniz. ayarlarla biraz oynadınız, sonra ikinci şarkıyı dinlediniz. yine beğenmediniz. bunu belki on şarkı için yapıp sonunda hoşunuza giden bir ayarı buldunuz. artık bu ayarları kullanarak müzik kütüphanenizdeki diğer şarkıları dinleyebilirsiniz. bu ayarları bulma sürecini training, bulunan ayarların kullanılarak başka şarkıların dinlenilmesini de inferencing olarak düşünebilirsiniz. fakat şöyle bir fark var. bir equalizer'da belki onlarca ayar vardır. gpt-4'de trilyonlarca ayar var^* ve eğitilmesi için de terabyte'larca veri kullanıldı. bu model ve benzer büyüklükteki modeller bir tane gpu üzerinde değil, on tane gpu üzerinde de değil, binlerce gpu'nun kullanıldığı süper bilgisayarlar üzerinde geliştirilir. buna rağmen training süreci aylar sürer. bu süreçteki ufak bir performans iyileştirmesi bile, size günler hatta haftalar olarak kazanç sağlar. burası önemli, çünkü her ne kadar nvidia gpu'larını, rakiplerine göre çok daha pahalıya ve yüksek kar marjlarıyla satsa da müşterilerinin toplam maliyeti^* "hala" görece düşük kalabiliyor ve bu müşteriler "şimdilik" nvidia'yı tercih ediyor.
  
  devam edeyim. cuda, parallel programming işini kolaylaştırdı dedim ve kandırdım. cuda üzerinde model eğitmek de kolay değil. nvidia cuda'yı tanıtırken, "kasım 2022'de generative ai devrimi başlayacak, bu yüzden pek sevgili ceo'muz medyum jensen on beş sene öncesinden cuda'yı tanıtıyor" diyerek tanıtmadı. cuda'nın uygulama alanları ilaç geliştirmekten tutun da simülasyonlara kadar çok geniş bir yelpazeyi içeriyor^*. gpgpu - general purpose graphics processing unit, genel kullanıma yönelik grafik işlemcisi. 2012'te alexnet eğitilene kadar deep learning alanında gpu'lar sık kullanılmıyordu bile. yani jensen reyiz oltaları denize attı ve balinayı gen ai oltası ile tuttu^*. cuda üzerinde yapay zeka modelleri geliştirmek için nvidia bir de cudnn'i geliştirdi. daha sonra google, facebook gibi şirketler tensorflow, pytorch gibi cuda'yı son derece verimli kullanabilen ve genele hitap eden kütüphanelerle geldiler, haliyle de yapay zeka alanında yazılım geliştirmek çok daha kolaylaştı ve geliştirici sayısı ciddi bir şekilde arttı.
  
  toparlarsak, nvidia'dan bahsederken sadece gpu'lar değil, bu gpu'ların gpgpu olarak kullanılması, bu gpu'ların binlercesinin beraber çalıştırılabilmesi, bu kadar komplike işlemlerin uygulama geliştiricilerden izole edilebilmesi, gpu'ların birbirleri arasındaki veri akışının hızlıca sağlanabilmesi^**, bunların üzerine inşa edilmiş kütüphaneler ve bu alanda son on senede uygulama geliştiren bir topluluğu düşünün. iş^* alanında moat diye bir kavram vardır, hendek demek. nvidia'nın kazdığı ve rakiplerini (şimdilik) uzak tutan hendek sadece ekran kartlarının kağıt üzerindeki performansları değil, bütün donanım ve yazılım ekosistemi ve bunun üzerinde senelerce yazılım geliştirmiş bir topluluk^*.
  
  nvidia'nın kar marjı yaklaşık 55%. nvidia h100 gpu'larının 80-90% kar marjı ile satıldığı söyleniyor. buna rağmen talep çok yüksek, hatta arzın üzerinde olduğu için fiyatlar hala yukarı çekilebiliyor. peki bu hep böyle mi gidecek? çiçeklerimiz ne zaman açacak? eğer yapay zeka alanındaki gelişmelerin yarattığı talebin artmayacağını ve şu an hype cycle'ın tepesinde olduğumuzu düşünüyorsanız, bu sorunun cevabını zaten verdiniz. ama, bu talebin daha da artacağını ve yeni bir teknoloji devrimin başında olduğumuzu düşünüyorsanız o zaman bu sorunun cevabı çok bilinmeyenli bir denkleme dönüyor.
  
  her şeyden önce nvidia'yı bir platform şirketi olarak düşünebiliriz. nvidia ürünleriyle bir platform oluşturur ve değer üretir, müşterileri de bu platformu kullanarak kendileri için değer üretmeye çalışır. bir platform şirketinin başarılı olabilmesi için de o platformu kullananların toplamda elde ettiği değerin, platformun ürettiği değerden fazla olması gerekir. örneğin, app store ve app store üzerindeki uygulamalar. apple, app store aracılığı ile kendisi için bir değer elde eder. fakat, app store aracılığıyla yaratılan değer apple'ın app store'dan elde ettiği değerin katbekat üstündedir (uber, spotify, airbnb, vs. nin toplam değerlerini düşünün). benzer değeri şu an yapay zeka alanında henüz göremiyoruz. şu an yapılan yatırımlar belki yapay zeka ürünlerinin ileride kazanacağı gelirlerin altında kalacak ve nvidia gpu’ları kullanılarak üretilen değer zamanla artmaya başlayacak. belki de maliyetler getirilerin üzerinde kalmaya devam edecek ve ekonomik olarak sürdürülebilir bir model olmaktan çıkacak (tabii ben ilk ihtimali kendime daha yakın buluyorum).
  
  bir diğer kriter ise modellerin boyutu. küçük modellerin çalıştırılması için beraber çalışan birçok gpu'ya ihtiyaç yok. fakat küçük modellerin kabiliyetleri de büyük modellerin kabiliyetlerinden düşük. bu yüzden, fazla “kabiliyet” gerektirmeyen bazı alanlarda (örneğin, metin özetleme), son kullanıcı cihazlarında çevrimdışı çalışan modeller görmeye başlayacağız. bunun örneklerini haziran 2024 apple wwdc etkinliğinde çok net göreceğiz. yani apple ile nvidia'yı kıyaslarken son kullanıcı cihazlarında çalıştırılabilen modellerle sınırlamal önemli. apple'ın cuda'sı da metal platformu. son birkaç senedir apple mühendisleri harıl harıl pytorch'u metal üzerinde optimize etmeye çalışıyor. bir not daha, apple gpu ihtiyacını aws ve gcp üzerinden karşılıyordu. geçtiğimiz sene de onbinlerce nvidia h100 satın alarak kendi gpu havuzlarını kurmaya başladı. yani thunderbolt kablolarıyla birbirine bağlanmış binlerce mac pro'lar üzerinde büyük model geliştiren yok.
  
  gpu'ların uygulama alanlarının yapay zeka uygulamalarından da öte olduğunu ve yapay zeka alanı için nvidia'nın cuda ve cudnn ile yazılım alanında gpu'ları özelleştirdiğinden bahsetmiştim. peki, yapay zeka alanında direk donanım alanında özelleşmiş işlemciler üretilse? google'ın tpu’ları işte tam burada önem kazanıyor. tensor işlemek üzerine özelleşmiş bir chip ya da asic. zaten adından belli tensor processing unit. google gemini hakkınfa fikirlerimi yazdığımda^*, tpu’ların google için çok önemli bir rekabet avantajı^* sağladığından bahsetmiştim. benzer şekilde sadece yapay zeka değil, spesifik olarak dil modeli çalıştırmak için özelleştirilmiş donanımlardan biri de groq'un tanıttığı lpu. bunun da adından belli: language processing unit. tpu'lar hem model eğitmek hem de çalıştırmak için kullanılabilirken (örneğin, apple gcp müşterisi ve tpu'ları da kullanıyor), lpu'lar şimdilik sadece çalıştırma alanında kullanılıyor. bu chiplerin gpu'lara karşı avantajı da birim üretim maliyetlerinin düşüklüğü, enerji tüketimlerinin düşüklüğü, çok daha hızlı çalışmaları (özellikle lpu), vs. tabii bu özelleşmiş donanımlar henüz gpu'lar kadar yaygın değil. bir de oyun oynayamıyorsunuz; bu da önemli bir dezavantaj^*.
  
  bir diğer kriter ise amd (özellikle amd mi300x ve instinct serisi) ve belki intel (intel gaudi 3). bu şirketler nvidia ile direk olarak rekabet etmeye çalışıyor. piyasadan kopardıkları paylara bakılınca pek de rekabet edebildikleri henüz söylenemez. fakat, özellikle inferencing alanında amd mi300x'leri yakın bir zamanda çok daha sık duymaya başlayacağımızı düşünüyorum. meraklıları için amd'nin cuda muadili rocm, intel'inki synapse ai.
  
  bu liste daha da uzar. henüz amazon, meta, microsoft gibi şirketlerin chip'lerinden bahsetmedik bile. ama özetlemek gerekirse, nvidia'nın fiyat politikasından nvidia hissedarları dışında kimse memnun değil ve elleri de boş durmuyor. ha nvidia'nın eli boş duruyor mu? hayır. örneğin, son kullanıcı cihazlarındaki rekabete nvidia'nın bir cevabı: (bkz: chat with rtx).
  
  buraya kadar okuduysanız eliniz boş dönmeyin: yapay zeka değer zincirine^* baktığımızda nvidia gibi birçok şirket daha var. çokça bahsedilmiş bunlardan biri tsmc, bir diğeri asml. hiç değinilmemiş ama nvidia gpu'larındaki bellekleri üreten sk hynix ve micron. asml gibi, yarı iletken üretim süreci için oldukça özelleşmiş ekipmanlar sağlayan kokusai electric, tokyo electron, ve daha niceleri. yarı iletkenlerden işlemci üretmek gerçekten de "mucizevi" bir süreç. topraktan yapılmış yarı iletkenlerin üzerine nano seviyede mutluluğun resmini çiziyorsunuz sonra da elektronları dans ettiriyorsunuz. haliyle, her alanda özelleşmiş şirketler yerine spesifik alanlarda son derece özelleşmiş ve moat'ları olan birçok şirket bulabilirsiniz.
• 2009 başlarında şundan 30.000 adet alıp bekleseydik, şu an 20 milyon dolar olmuştu.
  
  edit : 30.000 adet o zamanın parası 50.000 lira civarı yapıyordu.
  
  50 bin liraya 600 milyon lira getiri, güzel getiri.