Ce este mai bine? [Performance & Speed Comparison]

În acest articol, vom face o comparație între TPU și GPU. Dar înainte de a ne adânci în el, iată ce trebuie să știți.

Învățarea automată și tehnologia AI au accelerat creșterea aplicațiilor inteligente. În acest scop, firmele de semiconductori creează continuu acceleratoare și procesoare, inclusiv TPU și CPU, pentru a face față aplicațiilor mai complexe.

Unii utilizatori au avut probleme în a înțelege când se recomandă utilizarea unui TPU și când să folosească un GPU pentru sarcinile computerului lor.

Un GPU, cunoscut și sub numele de Unitate de procesare grafică, este placa video a computerului dvs. pentru a vă oferi o experiență vizuală și captivantă a computerului. De exemplu, puteți urma pași simpli dacă computerul dvs. nu detectează GPU-ul.

Pentru a înțelege mai bine aceste circumstanțe, va trebui, de asemenea, să clarificăm ce este un TPU și cum se compară cu un GPU.

Ce este un TPU?

TPU-urile sau Tensor Processing Units sunt circuite integrate (IC) specializate pentru aplicații specifice, cunoscute și sub denumirea de ASIC (circuite integrate specifice aplicației). Google a creat TPU-uri de la zero, începând să le folosească în 2015 și le-a deschis publicului în 2018.

TPU-urile sunt oferite ca versiuni minore de cip sau cloud. Pentru a accelera învățarea automată pentru o rețea neuronală folosind software-ul TensorFlow, TPU-urile cloud rezolvă operațiuni complicate cu matrice și vector la viteze incredibile.

Cu TensorFlow, Google Brain Team a dezvoltat o platformă de învățare automată open-source, cercetătorii, dezvoltatorii și întreprinderile pot construi și opera modele AI folosind hardware-ul Cloud TPU.

Atunci când antrenează modele de rețele neuronale complexe și robuste, TPU-urile reduc timpul până la valoarea preciziei. Aceasta înseamnă că modelele de învățare profundă care ar fi durat săptămâni pentru a se antrena folosind GPU-uri durează mai puțin de o fracțiune din acest timp.

Este TPU la fel cu GPU?

Sunt foarte distincte din punct de vedere arhitectural. O unitate de procesare grafică este un procesor în sine, deși unul care este canalizat către programarea numerică vectorizată. GPU-urile sunt, de fapt, următoarea generație de supercomputere Cray.

TPU-urile sunt coprocesoare care nu execută instrucțiuni de la sine; codul este executat pe procesoare, ceea ce alimentează TPU un flux de operațiuni mici.

Când ar trebui să folosesc TPU?

TPU-urile din cloud sunt adaptate pentru anumite aplicații. Este posibil să preferați să executați sarcinile de învățare automată folosind GPU-uri sau procesoare în unele cazuri. În general, următoarele principii vă pot ajuta să evaluați dacă TPU este cea mai bună opțiune pentru volumul dvs. de lucru:

• Calculele matriceale sunt dominante în modele
• În bucla principală de antrenament a modelului, nu există operațiuni personalizate TensorFlow
• Sunt modele care trec prin săptămâni sau luni de antrenament
• Sunt modele masive care au dimensiuni extinse și eficiente de loturi.

Acum să trecem la o comparație directă între TPU și GPU.

Care sunt diferențele dintre GPU și TPU?

Arhitectură TPU vs. GPU

TPU nu este un hardware extrem de complex și se simte ca un motor de procesare a semnalului pentru aplicații radar și nu arhitectura tradițională derivată din X86.

În ciuda faptului că are multe diviziuni de multiplicare a matricei, este mai puțin un GPU și mai mult un coprocesor; execută doar comenzile primite date de o gazdă.

Deoarece există atât de multe greutăți de introdus în componenta de multiplicare a matricei, DRAM-ul TPU este operat ca o singură unitate în paralel.

În plus, deoarece TPU-urile pot efectua numai operațiuni cu matrice, plăcile TPU sunt conectate la sisteme gazdă bazate pe CPU pentru a îndeplini sarcini pe care TPU-urile nu le pot gestiona.

Calculatoarele gazdă sunt responsabile de livrarea datelor către TPU, preprocesarea și preluarea detaliilor din Cloud Storage.

GPU-urile sunt mai preocupate de aplicarea nucleelor ​​disponibile pentru a funcționa decât de accesarea memoriei cache cu latență scăzută.

Multe PC-uri (Clustere de procesoare) cu mai multe SM-uri (Streaming Multiprocessors) devin un singur gadget GPU, cu straturi de cache de instrucțiuni de nivel 1 și nuclee însoțitoare găzduite în fiecare SM.

Înainte de extragerea datelor din memoria globală GDDR-5, un SM utilizează de obicei un strat partajat de două cache-uri și un strat dedicat de un singur cache. Arhitectura GPU este tolerantă la latența memoriei.

Un GPU funcționează cu un număr minim de niveluri de memorie cache. Cu toate acestea, deoarece un GPU are mai mulți tranzistori dedicați procesării, este mai puțin preocupat de timpul de accesare a datelor din memorie.

Posibila întârziere de acces la memorie este ascunsă, deoarece GPU-ul este menținut ocupat cu calcule adecvate.

Viteza TPU vs. GPU

Această generație originală de TPU a vizat inferența, care utilizează mai degrabă un model învățat decât unul antrenat.

TPU-ul este de 15 până la 30 de ori mai rapid decât GPU-urile și procesoarele actuale din aplicațiile comerciale AI care folosesc inferența rețelei neuronale.

În plus, TPU este semnificativ eficient din punct de vedere energetic, cu o creștere între 30 și 80 de ori a valorii TOPS/Watt.

Prin urmare, atunci când faceți o comparație între viteze TPU și GPU, șansele sunt înclinate către unitatea de procesare a tensorului.

Performanță TPU vs. GPU

Un TPU este o mașină de procesare a tensorilor creată pentru a accelera calculele grafice Tensorflow.

Pe o singură placă, fiecare TPU poate oferi până la 64 GB de memorie cu lățime de bandă mare și 180 de teraflopi de performanță în virgulă mobilă.

O comparație între GPU-urile Nvidia și TPU-urile este prezentată mai jos. Axa Y reprezintă numărul de fotografii pe secundă, în timp ce axa X reprezintă diferitele modele.

Învățare automată TPU vs. GPU

Mai jos sunt timpii de antrenament pentru procesoare și GPU-uri care utilizează diferite dimensiuni de lot și iterații pe epocă:

• Iterații/epocă: 100, Dimensiune lot: 1000, Epoci totale: 25, Parametri: 1,84 M și Tip model: Keras Mobilenet V1 (alpha 0,75).

ACCELERATOR	GPU (NVIDIA K80)	TPU
Precizia antrenamentului (%)	96,5	94.1
Precizia validării (%)	65.1	68,6
Timp pe iterație (ms)	69	173
Timp pe epocă (e)	69	173
Timp total (minute)	30	72

• Iterații/epocă: 1000, dimensiunea lotului: 100, epoci totale: 25, parametri: 1,84 M și tip de model: Keras Mobilenet V1 (alpha 0,75)

ACCELERATOR	GPU (NVIDIA K80)	TPU
Precizia antrenamentului (%)	97,4	96,9
Precizia validării (%)	45.2	45.3
Timp pe iterație (ms)	185	252
Timp pe epocă (e)	18	25
Timp total (minute)	16	21

Cu o dimensiune mai mică a lotului, TPU durează mult mai mult pentru a se antrena, așa cum se vede din timpul de antrenament. Cu toate acestea, performanța TPU este mai apropiată de GPU cu dimensiunea lotului crescută.

Prin urmare, atunci când faceți o comparație de antrenament TPU vs. GPU, multe au de-a face cu epocile și dimensiunea lotului.

Benchmark TPU vs. GPU

Cu 0,5 wați/TOPS, un singur Edge TPU poate executa patru trilioane de operații/pe secundă. Mai multe variabile influențează cât de bine se traduce acest lucru în performanța aplicației.

Modelele de rețele neuronale au cerințe distincte, iar producția generală variază în funcție de viteza USB gazdă, CPU și alte resurse de sistem ale dispozitivului de accelerare USB.

Având în vedere acest lucru, graficul de mai jos contrastează timpul petrecut pentru a face inferențe unice pe un Edge TPU cu diferite modele standard. Desigur, toate modelele care rulează sunt versiuni TensorFlow Lite de dragul comparației.

Vă rugăm să rețineți că datele de mai sus arată timpul necesar pentru rularea modelului. Cu toate acestea, exclude timpul necesar procesării datelor de intrare, care variază în funcție de aplicație și sistem.

Rezultatele benchmark-urilor GPU sunt comparate cu setările și rezoluția dorite de utilizator pentru calitatea jocului.

Pe baza evaluării a peste 70.000 de teste de referință, algoritmi sofisticați au fost construiți cu meticulozitate pentru a genera estimări fiabile de 90% ale performanței jocurilor.

Deși performanța plăcilor grafice variază mult de la un joc la altul, această imagine de comparație de mai jos oferă un indice larg de evaluare pentru unele plăci grafice.

Citiți mai multe despre acest subiect

Prețul TPU vs. GPU

Au o diferență semnificativă de preț. TPU-urile sunt de cinci ori mai costisitoare decât GPU-urile. Aici sunt cateva exemple:

• Un GPU Nvidia Tesla P100 costă 1,46 USD pe oră
• Google TPU v3 costă 8,00 USD pe oră
• TPUv2 cu acces la cerere GCP 4,50 USD pe oră

Dacă scopul este optimizarea costurilor, ar trebui să optați pentru un TPU numai dacă antrenează un model de 5 ori viteza unui GPU.

Care este diferența dintre CPU vs. GPU vs. TPU?

Distincția dintre TPU, GPU și CPU este că procesorul este un procesor nespecific, care se ocupă de toate calculele computerului, logica, intrarea și ieșirea.

Pe de altă parte, GPU este un procesor suplimentar folosit pentru a îmbunătăți interfața grafică (GI) și pentru a face activități de vârf. TPU-urile sunt procesoare puternice, special create, utilizate pentru a executa proiecte dezvoltate folosind un anumit cadru, cum ar fi TensorFlow.

Le clasificam astfel:

• Unitate centrală de procesare (CPU) – Controlează toate aspectele unui computer
• Unitate de procesare grafică (GPU) – Îmbunătățiți performanța grafică a computerului
• Unitate de procesare a tensorului (TPU) – ASIC conceput în mod explicit pentru proiectele TensorFlow

Nvidia produce TPU?

Mulți oameni s-au întrebat cum ar reacționa NVIDIA la TPU-ul Google, dar acum avem răspunsuri.

În loc să fie îngrijorat, NVIDIA a depoziționat cu succes TPU ca un instrument pe care îl poate utiliza atunci când are sens, dar păstrând în continuare software-ul și GPU-urile CUDA în frunte.

Păstrează un punct de control pentru adoptarea învățării automate IoT, făcând tehnologia open source. Cu toate acestea, pericolul cu această metodă este că poate oferi credibilitate unui concept care ar putea deveni o provocare pentru aspirațiile pe termen lung ale motoarelor de inferență ale centrelor de date pentru NVIDIA.

Este GPU sau TPU mai bun?

În concluzie, trebuie să spunem că, deși dezvoltarea algoritmilor pentru a permite utilizarea eficientă a unui TPU costă puțin mai mult, costurile reduse de antrenament depășesc în general cheltuielile suplimentare de programare.

Alte motive pentru a alege un TPU includ faptul că VRAM-ul v3-128 8 îl depășește pe cel al GPU-urilor Nvidia, făcând din v3-8 o alternativă mai bună pentru procesarea seturilor mari de date asociate cu NLU și NLP.

Vitezele mai mari pot duce, de asemenea, la o iterație mai rapidă în timpul ciclurilor de dezvoltare, ceea ce duce la inovații mai rapide și mai frecvente, crescând probabilitatea de succes pe piață.

TPU-ul depășește GPU-ul în ceea ce privește viteza inovației, ușurința de utilizat și accesibilitatea; consumatorii și arhitecții cloud ar trebui să ia în considerare TPU în inițiativele lor ML și AI.

TPU de la Google are o capacitate mare de procesare, iar utilizatorul trebuie să coordoneze introducerea datelor pentru a se asigura că nu există supraîncărcare.

Iată, o comparație totală între TPU și GPU. Ne-ar plăcea să vă cunoaștem gândurile și să vedem dacă ați făcut teste și ce rezultate ați primit pe TPU și GPU.

Amintiți-vă, vă puteți bucura de o experiență captivantă pe computer folosind oricare dintre cele mai bune plăci grafice pentru Windows 11.