XeaeX
New member
Bu hafta içerisinde Cerebras Systems derin öğrenme için 13,5 milyon çekirdekli Andromeda yapay zeka üstün bilgisayarını tanıttı. Cerebras’a bakılırsa Andromeda, 16 bit yarı hassasiyette birden çok 1 exaflop (saniyede 1 kentilyon işlem) yapay zeka hesaplama gücü sağlıyor.
Andromeda üstün bilgisayarı temelinde birbirine bağlanmış 16 adet Cerebras C-2 kümesiyle inşa edilmiş durumda. Her CS-2 bünyesinde 8,5 inç boyutunda ve 850.000 çekirdeğe sahip 2.6 trilyon transistör içeren Wafer Scale Engine çipini (WSE 2) içeriyor.
Tabak boyutunda işlemci
Cerebras, Andromeda’yı California, Santa Clara’daki bir bilgi merkezinde 35 milyon dolara inşa etmiş durumda. Büyük lisan modellerinin eğitimi ve karmaşık yapay zeka temelli akademik ve ticari işlemciler için bu sistem kullanılacak. Cerebras basın açıklamasında “Andromeda, GPT-3, GPT-J ve GPT-NeoX dahil olmak üzere GPT sınıfı büyük lisan modellerinde sıradan data paralelliği yoluyla harikaya yakın ölçeklendirme sağlıyor” diye belirtiyor.
Cerebras’a bakılırsa “Mükemmele yakın ölçeklendirme” tabiri, Cerebras Andromeda‘ya daha fazla CS-2 bilgisayar ünitesi ekledikçe, hudut ağlarındaki eğitim mühletinin “mükemmele yakın oranda” azaldığı manasına geliyor. Tipik olarak, GPU tabanlı sistemleri temel alan sistemlerde ünite sayısı artıkça getirinin de azaldığı görülmekte. Lakin Cerebras, muhteşem bilgisayarının GPU tabanlı sistemlerin yapamadığı bakılırsavleri gerçekleştirebileceğini tez ediyor. Örnek vermek gerekirse, Andromeda’nın, GPT-J’de 2,5 milyar ve 25 milyar parametrede, uzun dizi boyutlarında harikaya yakın ölçekleme elde edebildi. Fakat tıpkı işi, 2.000 Nvidia A100 bulunan GPU tabanlı bir sistem “yetersiz bant genişliği” niçiniyle gerçekleştiremedi.
Andromeda’nın öteki harika bilgisayarlara karşı durumu nasıl? Şu anda dünyanın en süratlisi olan Frontier, Oak Ridge Ulusal Laboratuarlarında bulunuyor ve 64 bitlik çift hassasiyette 1.103 exaflop suratında performans gösterebiliyor. Bu bilgisayarın üretimi 600 milyon dolara mal oldu.
Andromeda üstün bilgisayarı temelinde birbirine bağlanmış 16 adet Cerebras C-2 kümesiyle inşa edilmiş durumda. Her CS-2 bünyesinde 8,5 inç boyutunda ve 850.000 çekirdeğe sahip 2.6 trilyon transistör içeren Wafer Scale Engine çipini (WSE 2) içeriyor.
Tabak boyutunda işlemci
Cerebras, Andromeda’yı California, Santa Clara’daki bir bilgi merkezinde 35 milyon dolara inşa etmiş durumda. Büyük lisan modellerinin eğitimi ve karmaşık yapay zeka temelli akademik ve ticari işlemciler için bu sistem kullanılacak. Cerebras basın açıklamasında “Andromeda, GPT-3, GPT-J ve GPT-NeoX dahil olmak üzere GPT sınıfı büyük lisan modellerinde sıradan data paralelliği yoluyla harikaya yakın ölçeklendirme sağlıyor” diye belirtiyor.
Cerebras’a bakılırsa “Mükemmele yakın ölçeklendirme” tabiri, Cerebras Andromeda‘ya daha fazla CS-2 bilgisayar ünitesi ekledikçe, hudut ağlarındaki eğitim mühletinin “mükemmele yakın oranda” azaldığı manasına geliyor. Tipik olarak, GPU tabanlı sistemleri temel alan sistemlerde ünite sayısı artıkça getirinin de azaldığı görülmekte. Lakin Cerebras, muhteşem bilgisayarının GPU tabanlı sistemlerin yapamadığı bakılırsavleri gerçekleştirebileceğini tez ediyor. Örnek vermek gerekirse, Andromeda’nın, GPT-J’de 2,5 milyar ve 25 milyar parametrede, uzun dizi boyutlarında harikaya yakın ölçekleme elde edebildi. Fakat tıpkı işi, 2.000 Nvidia A100 bulunan GPU tabanlı bir sistem “yetersiz bant genişliği” niçiniyle gerçekleştiremedi.
Andromeda’nın öteki harika bilgisayarlara karşı durumu nasıl? Şu anda dünyanın en süratlisi olan Frontier, Oak Ridge Ulusal Laboratuarlarında bulunuyor ve 64 bitlik çift hassasiyette 1.103 exaflop suratında performans gösterebiliyor. Bu bilgisayarın üretimi 600 milyon dolara mal oldu.