Cornelis, yapay zekâ hızlandırıcılarının ve süper bilgisayarların veri beklerken geçirdiği süreyi azaltmak üzere tasarlanmış, 800 gigabitlik bir ağ ürün ailesi olan CN6000’i tanıttı. Öne çıkan iddiası dikkat çekici: Omni-Path SuperNIC ile saniyede 1,6 milyara kadar mesaj. Ancak bunun ne anlama geldiğini kavramak için ağ performansının üç farklı ölçütünü birbirinden ayırmak gerekir: bant genişliği, mesaj hızı ve gecikme.
12 Kasım tarihli duyuruda, Omni-Path ve Ethernet bağdaştırıcılarının yanı sıra bir Omni-Path anahtarı da tanıtılıyor. Cornelis, donanımın değerlendirme ve erken dağıtımlar için hazır olduğunu, iş ortaklarının sistemlerinin ise 2027’nin ilk çeyreğinde kullanıma sunulmasının beklendiğini belirtiyor.
Ticari hedef açık: Ağ, pahalı işlemcilere yetişebildiğinde bu işlemciler daha fazla yararlı iş üretebilir. Daha hızlı bir GPU, başka bir makinenin sonuç göndermesini beklerken dağıtık bir işin tamamlanma süresini pek kısaltmaz.
800G ve 1,6 Milyar Mesaj Gerçekte Ne Anlama Geliyor?
Yapay zekâ kümesi, birlikte çalışan birbirine bağlı bilgisayarlardan oluşur. Ağ, büyük model verisi bloklarından küçük eşgüdüm mesajlarına kadar her şeyi taşır. Performansın birden fazla boyutu vardır:
| Ölçüt | Basitçe anlamı | Neden önemli? |
|---|---|---|
| Bant genişliği | Her saniye ne kadar veri aktarılabildiği | Büyük miktarda veri aktarımı |
| Mesaj hızı | Bağdaştırıcının her saniye işleyebildiği mesaj sayısı | Çok sayıda küçük veri alışverişini işleme |
| Gecikme | Bir iletişimin ne kadar sürdüğü | Birbirine bağlı adımlar arasındaki beklemeleri azaltma |
800G, saniyede 800 gigabit anlamına gelir. Sekize bölündüğünde, protokol yükü ve diğer pratik kısıtlamalar hesaba katılmadan nominal olarak saniyede 100 gigabayta karşılık gelir. Bu değer, bir sohbet robotunun sözcükleri ne kadar hızlı ürettiğini değil, taşınabilecek veri kapasitesini ifade eder.
Mesaj hızı farklı bir darboğazı ölçer. Çok sayıda küçük bilgi parçası göndermek, bağlantının bant genişliğini doldurmasalar bile bağdaştırıcının birbirinden ayrı pek çok işlemi gerçekleştirmesini gerektirir. Cornelis’in Omni-Path ürün bilgilendirme belgesinde, saniyede 1,6 milyar mesajlık hızın çift yönlü olduğu belirtiliyor. Bu, toplam bir işlem kapasitesidir; tek bir uygulamanın her saniye bu kadar sayıda ardışık isteği tamamlayabileceği iddiası değildir.
Bir sonraki hesaplamanın mesajı beklemesi gerektiğinde gecikme önem kazanır. Cornelis’in şirket içi 8 baytlık Intel MPI ping-pong testinde, CN6000 için 0,95 mikrosaniye, 800G’de NVIDIA InfiniBand XDR içinse 1,2 mikrosaniye gecikme ölçüldüğü; bunun yaklaşık %21 daha düşük olduğu bildirildi. MPI (Message Passing Interface), paralel bilimsel programların iletişim kurması için kullanılan standart bir yöntemdir.
Bu test, belirli bir küçük mesaj alışverişini ölçer. Bir eğitim çalışmasının, simülasyonun veya çıkarım hizmetinin %21 daha hızlı tamamlanacağını göstermez. Sonuç; uygulamanın ne sıklıkla iletişim kurduğuna, aktarımlarının boyutlarına, ağ tıkanıklığına ve sistemin geri kalanına bağlıdır.
SuperNIC’ler, Anahtarlar ve Ağ Yapıları Açıklanıyor
Ağ arabirim kartı (NIC), bir sunucuyu ağa bağlar. “SuperNIC”, Cornelis’in özel yüksek performanslı bağdaştırıcılarını tanımlamak için kullandığı ürün terimidir. Anahtar, sunucu bağlantılarını birbirine bağlar ve aralarında veri iletir. Bağdaştırıcıların, anahtarların, bağlantıların ve iletişim yazılımlarının oluşturduğu yapının tamamına genellikle ağ kumaşı denir.
Küme satın alırken bu ayrım önemlidir. Yetenekli bir bağdaştırıcı kurmak, trafiğin karşılaşacağı tüm anahtarları, kabloları veya yazılım yollarını kendiliğinden yükseltmez.
CN6000 iki ağ yapısı seçeneği sunar. Omni-Path, paralel bilgi işlem için özel olarak tasarlanmış bir Cornelis bağlantı teknolojisidir. Ethernet, veri merkezi işletmecilerinin aşina olduğu ve yaygın olarak kullanılan ağ altyapısıdır. Ethernet bağdaştırıcısı, uyumlu Ethernet anahtarlama altyapısını korurken yüksek performanslı iletişim isteyen müşterileri hedefler. Karşılaştırma testinde kullanılan teknoloji olan InfiniBand ise bilgi işlem için tasarlanmış başka bir özel ağ yapısıdır; bu teknolojinin anahtarları Omni-Path anahtarlarıyla birbirinin yerine kullanılamaz.
CN6000 platformu bu nedenle, herhangi bir ağ ekipmanı bileşiminin aynı sonucu vereceğini garanti etmekten ziyade, bir bileşen ve dağıtım seçeneği ailesini ifade eder.
RoCE Verileri İşlemci Yükünü Azaltarak Nasıl Taşır?
Ethernet SuperNIC, RoCEv2’yi (Birleştirilmiş Ethernet üzerinden Uzaktan Doğrudan Bellek Erişimi, ikinci sürüm) uygular. Temelindeki RDMA teknolojisi, ağ donanımının ana işlemciye her veri yükünü geleneksel ağ yolu üzerinden kopyalatmadan, farklı makinelerdeki izin verilen bellek bölgeleri arasında veri taşımasını sağlar.
Bunu, bir aracıdan içeriği tekrar tekrar alıp kopyalamasını istemek yerine, onaylanmış iki konum arasında doğrudan teslimat ayarlamak gibi düşünebilirsiniz. İletişimi başlatma ve yönetme işini işlemci yine de yapar; sağlanan yarar, işlemcinin veri aktarımına doğrudan katılımını azaltmaktır.
NVIDIA’nın RoCE belgeleri, ikinci sürümün RDMA trafiğini IP ve UDP başlıklarını kullanarak taşıdığını ve böylece trafiğin yönlendirilmiş IP ağlarından geçebildiğini açıklıyor. Verimli bir dağıtım için yalnızca Ethernet bağlantı noktasının bulunması yeterli değil; ağ yapılandırması ve tıkanıklık davranışı da belirleyici.
Cornelis’in Ethernet ürün bilgilendirme belgesi, donanım yükünün boşaltılmasını, çok sayıda eşzamanlı işlemi desteklemeyi ve Öncelikli Akış Denetimi’ni açıklıyor. Bu akış denetimi mekanizması, paket kaybını önlemeye yardımcı olmak için belirli trafik sınıflarını duraklatabiliyor. Duyuruda Ultra Ethernet desteği bir yazılım güncellemesiyle sunulacak şekilde konumlandırılıyor; alıcıların bu planlanan özelliği, ilk RoCEv2 sunumundan ayrı değerlendirmesi gerekiyor.
Yapay Zekâ Çıkarımında Çalışma Belleğini Taşımak Neden Gerekli?
Yapay zekâ çıkarımı, eğitilmiş bir modelin yanıt üretmek için kullanılmasıdır. Bir dil modelinde bu süreç, istemi işleyen ön doldurma aşamasını ve yanıtı her seferinde bir belirteç üreterek oluşturan çözümleme aşamasını içerir.
Bazı sunum sistemleri, her işlemci grubunun kendi görevine uygun ölçekte yapılandırılabilmesi için bu aşamaları ayrı işlemci gruplarında yürütür. Buna ayrıştırılmış çıkarım denir. Bu ayrım bir aktarım gerektirir: istem okunurken hesaplanan bilgilerin, yanıtı oluşturan işlemcilere ulaşması gerekir.
Bu bilgiler arasında, genellikle KV önbelleği olarak kısaltılan anahtar-değer önbelleği de bulunur. Modelin önceki işlemlerden yeniden yararlanabilmesi için ara dikkat verilerini saklar. Modelin tüm ağırlıklarını içermez ve yalnızca kaydedilmiş bir metin dökümünden ibaret değildir.
NVIDIA’nın Dynamo belgeleri süreci şöyle açıklıyor: istemi işlemek, istemin KV önbelleğini aktarmak ve ardından çözümleme çalışanında belirteçler üretmek. Daha hızlı aktarımlar, bu ayrımı uygulamada daha elverişli hâle getirebilir. Ancak önbelleği taşımak başlı başına ek iş gerektirir; bu nedenle ayrıştırma, zamanlama ve donanım avantajları aktarım maliyetini aştığında yarar sağlar.
Bağlantılar Yoğunlaştığında Trafiği Akıcı Tutmak
Omni-Path’te CN6000, kredi tabanlı akış denetimi kullanır: gönderici, alıcı tarafın kullanılabilir kapasitesine göre veri iletir. Uyarlanabilir yönlendirme, trafiği kullanılabilir yollar arasında dağıtabilir; birden fazla ağ düzlemi ise ağ yapısı boyunca ayrı yollar sağlar.
Omni-Path bilgilendirme belgesi, toplamda 800G bant genişliği sağlayan iki bağımsız 400G veri yolunu açıklıyor. Düzlemlerden birinin bakıma ihtiyacı olduğunda diğeri kullanılabilir durumda kalabilir; ancak ağın bir bölümünün devre dışı kalması, başlangıçtaki kapasitenin tamamının korunacağı anlamına gelmez.
Platformda ayrıca donanım tabanlı bir güven kökü, güvenli önyükleme ve cihaz doğrulama özellikleri bulunuyor. Bunlar, aygıt yazılımının ve cihaz kimliğinin güvenilir olduğunun belirlenmesine yardımcı olur. Kuantum sonrası dijital imzaların kullanımı kimlik doğrulama ve bütünlükle ilgilidir; bu, ağ üzerinden iletilen her yükün şifrelendiğine dair genel bir iddia olarak yorumlanmamalıdır.
Dağıtım Kararı, En Yüksek Hızın Ötesine Geçiyor
CN6000, Cornelis’in daha önce yürüttüğü ölçek büyütme amaçlı ağ çalışmalarını, bilimsel hesaplama alanında AMD ile genişletilen işbirliğini de içerecek şekilde sürdürüyor. Ürünün çekiciliği, yüksek performanslı ara bağlantıları daha geniş işlemci ve ağ ortamı seçenekleriyle bir araya getirmesinde yatıyor.
Alıcılar için anlamlı karşılaştırma, kendi iş yüklerini tamamlamak için gereken süre ve maliyettir. Küçük güncellemeleri tekrar tekrar paylaşan bir simülasyon, daha düşük gecikmeden ve daha yüksek ileti hızlarından yararlanabilir. Büyük önbellekleri taşıyan bir hizmet içinse sürdürülebilir aktarım hızı ve tıkanıklık daha önemli olabilir. Her ikisi de uygun bir ağ altyapısına, düzgün çalışan yazılım desteğine ve uyumluluğu doğrulanmış sunucu yapılandırmalarına ihtiyaç duyar.
CN6000’in duyurusu, bu sistemleri kurmak için bir seçenek daha sunuyor. En yüksek performans değerleri, sınanmaya değer yetenekleri ortaya koyuyor; uygulamalar gerçek iş yüklerini yürütürken daha fazla işlem gücünü verimli biçimde kullanabilmek ise pratikteki kazanımı oluşturuyor.
