Postuar te Artikuj & Tutoriale, Shkencë kompjuterike

Deep Learning i shkallëzueshëm dhe ekologjikisht i qëndrueshëm përmes Randomized Hashing

(Artikull shkencor i përkthyer)

Shkarkoje këtu: Deep Learning i shkallëzueshëm dhe ekologjik përmes Randomized Hashing_design

Arkitekturat aktuale të deep learning po rriten gjithnjë e më shumë për të mësuar nga dataset-a kompleksë. Këto arkitektura kërkojnë veprime gjigante të shumëzimit të matricave për t’i trajnuar miliona parametra. Në anën tjetër, është një tjetër trend në rritje për ta sjellë deep learning te pajisjet embedded, që harxhojnë pak energji. Veprimet me matrica, të asociuara edhe me trajnim edhe me testim të rrjeteve të thella, janë shumë të shtrenjta nga pikëpamja e llogaritjeve dhe e energjisë. Ne e paraqesim një teknikë të re të bazuar në hashing për ta zvogëluar drastikisht sasinë e llogaritjeve që nevojiten për t’i trajnuar dhe testuar rrjetet e thella. Qasja jonë i kombinon idetë e fundit nga dropout-at (braktisjet) dhe randomized hashing (hashing-un e rastësuar) për kërkim maksimal të brendshëm për t’i zgjedhur efektivisht node-at (nyjet) me aktivizimin më të lartë. Algoritmi ynë i ri për deep learning e zvogëlon në mënyrë domethënëse koston e përgjithshme llogaritëse të propagimit forward dhe back (tepara dhe tembrapa) duke vepruar në shumë më pak node-a (të rrallë). Si pasojë, algoritmi ynë i përdor vetëm 5% të shumëzimeve të përgjithshme, duke u mbajtur mesatarisht brenda 1%-shit të saktësisë së modelit origjinal. Një veti unike e back-propagation të propozuar të bazuar në hashing është se përditësimet (update-at) janë gjithmonë të rralla (sparse). Për shkak të update-ave të rrallë të gradientit, algoritmi ynë përshtatet idealisht për trajnime asinkronike dhe paralele që çojnë në përshpejtim pothuaj linear me numrin e rritur të bërthamave. Shkallëzueshmërinë dhe ekologjinë, pra efektivitetin energjik, të algoritmit tonë të propozuar e demonstrojmë përmes evaluimeve rigoroze eksperimentale në disa datasete reale.

Spring, Ryan, and Anshumali Shrivastava. “Scalable and sustainable deep learning via randomized hashing.” In Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 445-454. ACM, 2017.

Shkarkoje këtu: Deep Learning i shkallëzueshëm dhe ekologjik përmes Randomized Hashing_design

 

Advertisements

Lini një Përgjigje

Plotësoni më poshtë të dhënat tuaja ose klikoni mbi një nga ikonat për hyrje:

Stema e WordPress.com-it

Po komentoni duke përdorur llogarinë tuaj WordPress.com. Dilni /  Ndryshoje )

Foto Google+

Po komentoni duke përdorur llogarinë tuaj Google+. Dilni /  Ndryshoje )

Foto Twitter-i

Po komentoni duke përdorur llogarinë tuaj Twitter. Dilni /  Ndryshoje )

Foto Facebook-u

Po komentoni duke përdorur llogarinë tuaj Facebook. Dilni /  Ndryshoje )

Po lidhet me %s