Alphabet Inc’in Google’ı Salı günü yapay zeka modellerini eğitmek için kullandığı süper bilgisayarlarla ilgili yeni ayrıntılar yayınladı ve sistemlerin Nvidia Corp.’un karşılaştırılabilir sistemlerinden hem daha hızlı hem de daha verimli olduğunu söyledi.
Google, Tensör İşleme Birimi veya TPU adı verilen kendi özel çipini tasarladı. Bu çipleri, şirketin yapay zeka eğitimi, sorgulara insan benzeri metinlerle yanıt verme veya görüntü oluşturma gibi görevlerde kullanışlı hale getirmek için modeller aracılığıyla veri besleme süreci üzerindeki çalışmalarının %90’ından fazlası için kullanıyor.
Google TPU artık dördüncü neslinde. Salı günü Google, bireysel makinelerin bağlanmasına yardımcı olmak için kendi özel olarak geliştirilmiş optik anahtarlarını kullanarak 4.000’den fazla çipi bir süper bilgisayara nasıl dizdiğini ayrıntılarıyla anlatan bilimsel bir makale yayınladı.
Google’ın Bard’ı veya OpenAI’nin ChatGPT’si gibi teknolojilere güç sağlayan sözde büyük dil modelleri boyut olarak patladı, yani tek bir çipte depolanamayacak kadar büyükler.
Bunun yerine modeller, modeli eğitmek için haftalarca veya daha uzun süre birlikte çalışması gereken binlerce yongaya bölünmelidir. Google’ın PaLM modeli – bugüne kadar halka açıklanan en büyük dil modeli – 50 gün boyunca 4.000 çipli süper bilgisayarlardan ikisine bölünerek eğitildi.
Google, süper bilgisayarlarının anında çipler arasındaki bağlantıları yeniden yapılandırmayı kolaylaştırdığını, sorunların önlenmesine ve performans kazanımları için ince ayar yapılmasına yardımcı olduğunu söyledi.
Google Üyesi Norm Jouppi ve Google Seçkin Mühendisi David Patterson, sistemle ilgili bir blog gönderisinde “Devre anahtarlama, arızalı bileşenlerin etrafından dolanmayı kolaylaştırıyor” diye yazdı. “Bu esneklik, bir ML (makine öğrenimi) modelinin performansını hızlandırmak için süper bilgisayar ara bağlantısının topolojisini değiştirmemize bile izin veriyor.”
Google, süper bilgisayarıyla ilgili ayrıntıları daha yeni yayınlıyor olsa da, 2020’den beri Oklahoma, Mayes County’deki bir veri merkezinde şirket içinde çevrimiçi durumda. Google, Midjourney girişiminin birkaç kelimelik metinle beslendikten sonra yeni görüntüler oluşturan modelini eğitmek için sistemi kullandığını söyledi.
Gazetede Google, karşılaştırılabilir boyuttaki sistemler için yongalarının, dördüncü nesil TPU ile aynı zamanda piyasada bulunan Nvidia’nın A100 yongasına dayalı bir sistemden 1,7 kat daha hızlı ve 1,9 kat daha fazla güç verimli olduğunu söyledi. .
Bir Nvidia sözcüsü yorum yapmaktan kaçındı.
Google, dördüncü neslini Nvidia’nın mevcut amiral gemisi H100 yongasıyla karşılaştırmadığını çünkü H100’ün Google’ın yongasından sonra piyasaya çıktığını ve daha yeni teknolojiyle yapıldığını söyledi.
Google, Nvidia H100 ile rekabet edecek yeni bir TPU üzerinde çalışıyor olabileceğini ima etti, ancak ayrıntı vermedi ve Jouppi, Reuters’e Google’ın “gelecekteki yongalardan oluşan sağlıklı bir boru hattına” sahip olduğunu söyledi.
Tüm Son Teknoloji Haberlerini buradan okuyun
(Bu hikaye News18 personeli tarafından düzenlenmemiştir ve sendikasyon haber ajansı beslemesinden yayınlanmıştır)
