Deep Learning i shkallëzueshëm dhe ekologjikisht i qëndrueshëm përmes Randomized Hashing

(Artikull shkencor i përkthyer)

Shkarkoje këtu: Deep Learning i shkallëzueshëm dhe ekologjik përmes Randomized Hashing_design

Arkitekturat aktuale të deep learning po rriten gjithnjë e më shumë për të mësuar nga dataset-a kompleksë. Këto arkitektura kërkojnë veprime gjigante të shumëzimit të matricave për t’i trajnuar miliona parametra. Në anën tjetër, është një tjetër trend në rritje për ta sjellë deep learning te pajisjet embedded, që harxhojnë pak energji. Veprimet me matrica, të asociuara edhe me trajnim edhe me testim të rrjeteve të thella, janë shumë të shtrenjta nga pikëpamja e llogaritjeve dhe e energjisë. Ne e paraqesim një teknikë të re të bazuar në hashing për ta zvogëluar drastikisht sasinë e llogaritjeve që nevojiten për t’i trajnuar dhe testuar rrjetet e thella. Qasja jonë i kombinon idetë e fundit nga dropout-at (braktisjet) dhe randomized hashing (hashing-un e rastësuar) për kërkim maksimal të brendshëm për t’i zgjedhur efektivisht node-at (nyjet) me aktivizimin më të lartë. Algoritmi ynë i ri për deep learning e zvogëlon në mënyrë domethënëse koston e përgjithshme llogaritëse të propagimit forward dhe back (tepara dhe tembrapa) duke vepruar në shumë më pak node-a (të rrallë). Si pasojë, algoritmi ynë i përdor vetëm 5% të shumëzimeve të përgjithshme, duke u mbajtur mesatarisht brenda 1%-shit të saktësisë së modelit origjinal. Një veti unike e back-propagation të propozuar të bazuar në hashing është se përditësimet (update-at) janë gjithmonë të rralla (sparse). Për shkak të update-ave të rrallë të gradientit, algoritmi ynë përshtatet idealisht për trajnime asinkronike dhe paralele që çojnë në përshpejtim pothuaj linear me numrin e rritur të bërthamave. Shkallëzueshmërinë dhe ekologjinë, pra efektivitetin energjik, të algoritmit tonë të propozuar e demonstrojmë përmes evaluimeve rigoroze eksperimentale në disa datasete reale.

Spring, Ryan, and Anshumali Shrivastava. “Scalable and sustainable deep learning via randomized hashing.” In Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 445-454. ACM, 2017.

Shkarkoje këtu: Deep Learning i shkallëzueshëm dhe ekologjik përmes Randomized Hashing_design

 

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

Blog at WordPress.com.

Up ↑

%d bloggers like this: