Merhaba TurkHackTeam üyeleri bugün Intel Spring Crest'i inceleyeceğiz.
Spring Crest (SCR), Intel Nervana tarafından veri merkezi ve iş istasyonları için tasarlanan bir eğitim nöral işlemci mikro mimarisi olan Lake Crest'in halefidir. Habana Labs'ın satın alınmasıyla Spring Crest'in üretimi durduruldu. Spring Crest'e dayalı ürünler NNP L-1000 serisi olarak markalandı.
Spring Crest, Intel Nervana'nın seri üretime geçen ilk ticari sinir işlemcisi Lake Crest'in halefidir. Çipin kendisi veri merkezinde eğitim için tasarlanmıştır. Bu amaçla, 150-250 W tipik iş yükü güç aralığında hava soğutmalı altyapıyı hedefleyen bir PCIe Gen 4 x16 hızlandırıcı kartının yanı sıra bir OCP Hızlandırıcı Modülü (OAM) olarak tasarlanmıştır. Spring Crest, en hızlı eğitim süresi ve en yüksek güç verimliliği için optimize edilmiş bir veri merkezi eğitim hızlandırıcısıdır. Kalıp içi verilerin ve toplu iş yüklerinin yeniden kullanımına vurgu yapıldı.
Çip, her biri iki MAC işlem birimini (MPU) ve büyük bir yüksek sıralı yüksek bant genişliğine sahip bellek havuzunu içeren 24 yüksek performanslı tensör işlemci kümesine (TPC) sahiptir. MPU çiftlerinin her biri, toplam 119 TOPS'a kadar hesaplama için her döngüde toplam 98.304 FLOP için bir 32x32 dizisini entegre eder. MPU'lar, 60 MiB dağıtılmış SRAM tarafından beslenir. Spring Crest, 32 bitlik (SP FP) birikimli bfloat16 kullanır. Tüm çipin bir 2D ağ NoC kullanılarak bağlandığı her yerde bant genişliği gecikme süresine tercih edilir. Spring Crest, TSMC 16 nanometre işlemiyle üretilir ve dört HBM2 yığınını entegre etmek için CoWoS 2.5D paketleme teknolojisini kullanır. (8Hi) 2400 MT/s'de çalışan toplam 32 GiB kapasite için bir aracı üzerinde.
Yonga ayrıca toplam 64 SerDe için x16 (4×4) SerDes içeren dört InterChip Links (ICL) bağlantı noktası sunar. ICL bağlantı noktaları, 3.58 Tbps toplam çift yönlü bant genişliği için 112 Gbps'de çalışır. Sistemi birden çok düğümle ölçeklendirmek, OAM standardı nedeniyle büyük ölçüde yapışkan değildir. Tam bir sistem ve 1024'e kadar Spring Crest işlemcisi içerir ve hem veri hem de model paralelliği için tasarlanmış tutarlı bir programlama modeliyle tek bir çip gibi davranır.
Spring Crest'in beygir bileşeni, Tensör İşleme Kümesi'dir (TPC). Kalıpta TPC'nin 24 özdeş örneği vardır. TPC dört ana alt sistemden oluşur: çip üstü yönlendirici (OCR), kontrol, MAC işlem birimi (MPU) ve bellek alt sistemi. Çip üstü yönlendirici, aygıtlar arasındaki veri iletişimini kolaylaştırır. TPC'lerin yanı sıra PCIe ve ICL arabirimleri gibi paylaşılan çevre birimleride vardır.
Kontrol yolu, talimat kodunun çözülmesinden, operasyonların programlanmasından ve talimatların kullanımdan kaldırılmasından sorumludur. Kontrol ayrıca TPC içindeki hesaplama bloklarını da koordine eder. Spring Crest ISA, sınırlı bir talimat seti, tensör tabanlı ISA'dır. Başka bir deyişle, tüm işlenenler tensör olarak kabul edilir. ISA, birçok yerel tensör işlemiyle birlikte gelir (devrilme ve tensör dilimleme gibi daha özel işlemler dahil). Kontrol, özel mikrodenetleyici talimatlarıyla ISA'nın genişletilmesine izin veren bir mikro denetleyici içerir.
Her TPC içinde iki hesaplama bloğu vardır. İşlem birimi, vektör işlemleri ve özel derin öğrenme işlevlerinin yanı sıra büyük bir matris çarpma dizisi içerir. Matris çarpma çekirdeği, çarpma için bfloat16 ve biriktirme için FP32 kullanan bir 32x32 dizisidir. Dizi içindeki kısmi ürün arabelleği, bellek erişimini ve gücü azaltmak için kısmi ürün biriktirir. Intel 32x32'yi niceleme etkileri nedeniyle çok fazla performans kaybetmeyecek kadar küçük tutarken onunla elde edilebilecek iyi veri yeniden kullanımı nedeniyle seçti.
Matris çekirdeğinin dışında bileşik vektör ardışık düzeni bulunur. bellek bant genişliğini ve gücünü azaltan bir dizi giriş ve ara değer üzerinde birden çok işlem gerçekleştirebilen. Hem FP32 hem de BF16, tüm bileşik vektör boru hattı boyunca desteklenir. Bu aynı zamanda ağ doğruluğu gereksinimlerine dayalı olarak GEMM dışı işlemlerin optimizasyonuna da izin verir. Ek olarak, vektör ardışık düzeni, etkinleştirme işlevleri, rasgele sayı üretimi, azaltmalar ve birikimler gibi şeyler için özel optimizasyonlar içerir. Programlanabilir FP32 arama tabloları için de destek vardır.
Spring Crest (SCR), Intel Nervana tarafından veri merkezi ve iş istasyonları için tasarlanan bir eğitim nöral işlemci mikro mimarisi olan Lake Crest'in halefidir. Habana Labs'ın satın alınmasıyla Spring Crest'in üretimi durduruldu. Spring Crest'e dayalı ürünler NNP L-1000 serisi olarak markalandı.
Spring Crest, Intel Nervana'nın seri üretime geçen ilk ticari sinir işlemcisi Lake Crest'in halefidir. Çipin kendisi veri merkezinde eğitim için tasarlanmıştır. Bu amaçla, 150-250 W tipik iş yükü güç aralığında hava soğutmalı altyapıyı hedefleyen bir PCIe Gen 4 x16 hızlandırıcı kartının yanı sıra bir OCP Hızlandırıcı Modülü (OAM) olarak tasarlanmıştır. Spring Crest, en hızlı eğitim süresi ve en yüksek güç verimliliği için optimize edilmiş bir veri merkezi eğitim hızlandırıcısıdır. Kalıp içi verilerin ve toplu iş yüklerinin yeniden kullanımına vurgu yapıldı.
Çip, her biri iki MAC işlem birimini (MPU) ve büyük bir yüksek sıralı yüksek bant genişliğine sahip bellek havuzunu içeren 24 yüksek performanslı tensör işlemci kümesine (TPC) sahiptir. MPU çiftlerinin her biri, toplam 119 TOPS'a kadar hesaplama için her döngüde toplam 98.304 FLOP için bir 32x32 dizisini entegre eder. MPU'lar, 60 MiB dağıtılmış SRAM tarafından beslenir. Spring Crest, 32 bitlik (SP FP) birikimli bfloat16 kullanır. Tüm çipin bir 2D ağ NoC kullanılarak bağlandığı her yerde bant genişliği gecikme süresine tercih edilir. Spring Crest, TSMC 16 nanometre işlemiyle üretilir ve dört HBM2 yığınını entegre etmek için CoWoS 2.5D paketleme teknolojisini kullanır. (8Hi) 2400 MT/s'de çalışan toplam 32 GiB kapasite için bir aracı üzerinde.
Yonga ayrıca toplam 64 SerDe için x16 (4×4) SerDes içeren dört InterChip Links (ICL) bağlantı noktası sunar. ICL bağlantı noktaları, 3.58 Tbps toplam çift yönlü bant genişliği için 112 Gbps'de çalışır. Sistemi birden çok düğümle ölçeklendirmek, OAM standardı nedeniyle büyük ölçüde yapışkan değildir. Tam bir sistem ve 1024'e kadar Spring Crest işlemcisi içerir ve hem veri hem de model paralelliği için tasarlanmış tutarlı bir programlama modeliyle tek bir çip gibi davranır.
Spring Crest'in beygir bileşeni, Tensör İşleme Kümesi'dir (TPC). Kalıpta TPC'nin 24 özdeş örneği vardır. TPC dört ana alt sistemden oluşur: çip üstü yönlendirici (OCR), kontrol, MAC işlem birimi (MPU) ve bellek alt sistemi. Çip üstü yönlendirici, aygıtlar arasındaki veri iletişimini kolaylaştırır. TPC'lerin yanı sıra PCIe ve ICL arabirimleri gibi paylaşılan çevre birimleride vardır.
Kontrol yolu, talimat kodunun çözülmesinden, operasyonların programlanmasından ve talimatların kullanımdan kaldırılmasından sorumludur. Kontrol ayrıca TPC içindeki hesaplama bloklarını da koordine eder. Spring Crest ISA, sınırlı bir talimat seti, tensör tabanlı ISA'dır. Başka bir deyişle, tüm işlenenler tensör olarak kabul edilir. ISA, birçok yerel tensör işlemiyle birlikte gelir (devrilme ve tensör dilimleme gibi daha özel işlemler dahil). Kontrol, özel mikrodenetleyici talimatlarıyla ISA'nın genişletilmesine izin veren bir mikro denetleyici içerir.
Her TPC içinde iki hesaplama bloğu vardır. İşlem birimi, vektör işlemleri ve özel derin öğrenme işlevlerinin yanı sıra büyük bir matris çarpma dizisi içerir. Matris çarpma çekirdeği, çarpma için bfloat16 ve biriktirme için FP32 kullanan bir 32x32 dizisidir. Dizi içindeki kısmi ürün arabelleği, bellek erişimini ve gücü azaltmak için kısmi ürün biriktirir. Intel 32x32'yi niceleme etkileri nedeniyle çok fazla performans kaybetmeyecek kadar küçük tutarken onunla elde edilebilecek iyi veri yeniden kullanımı nedeniyle seçti.
Matris çekirdeğinin dışında bileşik vektör ardışık düzeni bulunur. bellek bant genişliğini ve gücünü azaltan bir dizi giriş ve ara değer üzerinde birden çok işlem gerçekleştirebilen. Hem FP32 hem de BF16, tüm bileşik vektör boru hattı boyunca desteklenir. Bu aynı zamanda ağ doğruluğu gereksinimlerine dayalı olarak GEMM dışı işlemlerin optimizasyonuna da izin verir. Ek olarak, vektör ardışık düzeni, etkinleştirme işlevleri, rasgele sayı üretimi, azaltmalar ve birikimler gibi şeyler için özel optimizasyonlar içerir. Programlanabilir FP32 arama tabloları için de destek vardır.
