Inženiera rokasgrāmata iegultajam AI

Web Programming - Computer Science for Business Leaders 2016 (Jūnijs 2019).

$config[ads_text] not found
Anonim

Pieejami daudz resursi, lai palīdzētu inženieriem izpētīt, kā izmantot savas jaunās dziļās mācīšanās pasaule to ierobežotajā dizainā

Rick Merritt, Silicon Valley biroja vadītājs, EE Times

Ja jūs meklējat veikt pirmos soļus dziļas mācības mežā, jūs neesat vieni un ir daudz resursu.

Dziļie neironu tīkli būtībā ir jauns skaitļošanas veids. Tā vietā, lai rakstītu programmu, kas palaista procesorā, kas izstaro datus, jūs straumējat datus, izmantojot algoritmisko modeli, kas filtrē rezultātus.

Šī pieeja sāka piesaistīt uzmanību pēc 2012 ImageNet konkursa, kad daži algoritmi sniedza labākus rezultātus, identificējot attēlus nekā cilvēks. Datorzinis bija pirmais joma, kas izjuta lielu impulsu.

Kopš tā laika tīmekļa giganti, piemēram, Amazon, Google un Facebook, ir uzsākuši dziļu mācīšanos video, runas un tulkošanas jomā - jebkurā vietā, kur viņiem bija lielas datu kopas, kuras viņus varēja ķemme, lai atrastu jaunas izpratnes. Nesen Google vadītājs Sundar Pichai teica, ka metodes ir tikpat būtiskas kā elektroenerģijas vai uguns atklāšana.

Uguns ir ātri nozvejotas. Pagājušajā gadā vairāk nekā 300 miljoni viedtālruņu tika piegādāti ar neuronu tīkla iespējām; 800 000 mākslīgā intelekta (AI) paātrinātāju šogad nosūtīs datu centrus, un katru dienu 700 miljoni cilvēku šobrīd izmanto kādu no viedajiem personāla palīgiem, piemēram, Amazon Echo vai Apple Siri, sacīja CC Wei, čipmaker TSMC . Viņš sauca AI un 5G par diviem pusvadītāju nozares vadītājiem šodien.

Tātad, ja jūs domājat par savu pirmo dēļa vai SoC dizainu AI, jums ir daudz uzņēmumu. Un tur ir daudz palīdzības.

Jau tiek apgalvots, ka vairāk kā 50 uzņēmumi pārdod vai gatavo kādu silīcija AI paātrinātāju. Daži no tiem ir IP bloki SoC, daži ir mikroshēmas, un dažas ir sistēmas.

Bet ir daži svarīgi soļi, pirms jūs sākat šķirošanu, izmantojot to, ko iegulto vīziju apvienības dibinātājs Jeffs Bjērs sauc par "jaunu reaktīvo dzinēju produktu čempiju sprādzienu".

Pirmkārt, gabarīts, kur jūsu pieteikums atrodas plašā AI veiktspējas prasību spektrā. Tas palīdzēs jums ātri likvidēt daudzu silīcija un programmatūras iespējas un nulles no dažiem, kas vislabāk atbilst jūsu uzdevumiem.

No vienas puses, automobiļiem ar pašpiedziņu ir jārīkojas, izmantojot dažādu kameru, radaru, lidaru un citu sensoru plūsmas, lai reāllaikā pieņemtu lēmumus par braukšanu. Viņiem ir nepieciešams īpašu paātrinātāju tīkls.

No otras puses, sensoru tīkliem lauku saimniecībā var rasties vajadzība tikai konstatēt un ziņot par būtiskām izmaiņām augsnes mitrumā, katru stundu vai pat katru dienu izmetot datus, kamēr notiek izmaiņas. Bier teica, ka pietiks vārti ar Arm Cortex-M mikrokontrolleru, kurā darbojas tā CMSIS-DSP bibliotēka.

Jeff Bier ir Embedded Vision Alliance dibinātājs.

Nākamais solis ir izvēlēties un apmācīt pareizo neironu tīkla modeli no opciju alfabēta zupas. Divas no vispopulārākajām ir konvolūcijas nervu tīkli (CNN), parasti attēlveidošanai un atkārtojamiem neironu tīkliem (RNN), parasti balss un audio. Tomēr datu zinātnieki virza jaunus variantus un hibrīdus gandrīz katru dienu, jo lietošanas gadījumi paplašinās.

Labā ziņa ir tāda, ka pētnieki bieži vien savus jaunākos algoritmus dara pieejamus, izmantojot tehniskos dokumentus, cerot, ka tie iegūst vilkmi. Modeļus var atrast arī AI programmatūras ietvarprogrammās, ko interneta giganti uztur un popularizē, piemēram, Amazon's MxNet, Google TensorFlow, Facebook's Caffe2 un Microsoft CNTK 2.0.

Tālāk jums jāatrod piemērotas datu kopas savai lietotnei, jānorāda tās un jāizmanto, lai apmācītu izvēlēto algoritmisko modeli. Dažas datu kopas ir pieejamas publiskajā domēnā, bet, lai sasniegtu vislabākos rezultātus, jums var būt nepieciešams izveidot vai vismaz pielāgot vienu jūsu vajadzībām.

Pakalpojumu sniedzēji, piemēram, Samasource un iMerit, sākuši darboties, lai palīdzētu veikt lielu datu kopu veidošanu un marķēšanu. Tīmekļa gigantiem, piemēram, Amazon, Google un Microsoft, ir arī rīki, lai jūs sāktu, cerot, ka izmantosiet savus mākoņa pakalpojumus, lai apmācītu un vadītu savus modeļus.

Jūs varat nokļūt detaļās tiešsaistes un tiešsaistes izglītības programmās. Piemēram, Bier ikgadējā " Embedded Vision" sammitā notiek vienas dienas apmācības kurss par vienu no populārākajām AI sistēmām - TensorFlow. Startup Fast.ai piedāvā arī tiešsaistes kursus .

Paredzams, ka Arm sūtīs un sniegs sīkāku informāciju šīs vispārīgās ML koda vasarā. Attēlu avots: Arm.
Izvēlēties pareizo silīciju
Daudzām lietojumprogrammām var nebūt nepieciešams īpašs silīcijs, ja jūs pareizi saņemat programmatūru. Esošās mikroshēmas, piemēram, Qualcomm Snapdragon, var nodrošināt "milzīgu veiktspēju AI darbā, ja jūs zināt, ko jūs darāt, " teica Bier.

Aprīlī Qualcomm pārdeva savus QCS603 un QCS605 mikroshēmas un ar to saistīto programmatūru, kas pielāgota AI iespējām IoT. Tie būtībā ir Snapdragon SoC variācijas ar dažām versijām, kas atbalsta rūpnieciskiem lietotājiem pagarinātu mūžu.

NXP demoed janvārī tā i.MX SoC darbojas dziļās mācīšanās progr uz prototipa viedo mikroviļņu un ledusskapi. Demonstrācija FoodNet parādīja, ka mikroshēmās darbojas līdz 20 klasifikatoriem un apstrādes secību no 8 līdz 66 milisekundēm, izmantojot esošo GPU bloku un Arm Cortex-A un -M serdeņu kombināciju.

Neskatoties uz to, NXP, tāpat kā daudzi iegulto mikroshēmu pārdevēji, drīzumā grasās sadarboties ar trešo pušu akseleratoru veidotājiem. Galu galā tā mērķis ir piedāvāt savus AI akseleratora blokus.

QuickLogic ir solis uz priekšu. Tā paziņoja, ka 4. maijā tā Quick AI platforma, kas apvieno EOS S3 mikroshēmas, ko izmanto viedās skaļruņos ar AI akseleratora mikroshēmu no Nepes Corp Software no divām trešajām pusēm, palīdz pielāgot algoritmus un apmācīt tos jomā, piemēram, rūpnīcas redzes sistēmām, prognozēšanas tehniskā apkope un drones.

Kopš 2016.gada izveidotie un palaišanas mikroshēmas un IP pārdevēji ir paziņojuši par AI paātrinātājiem, no kuriem daudzi tagad ir pieejami. Kopumā viņi ir pievienojuši veselu skaitļu vienības GPU blokiem vai paplašinātām SIMD vienībām DSP kodolos, teica Linley Gwennap no The Linley Group.

Pavisam nesen Google pašmāju TPU skaidri norādīja, ka dziļai mācībai ir nepieciešama lineārās algebras paātrinātāji, parasti lielu daudzkārtoti uzkrāto (MAC) masīvu veidā ar lielu atmiņu. Dažas ierīces pievieno aparatūru konkrētiem neironu tīklu aspektiem, piemēram, aktivizēšanai un apkopošanai, teica Gvenaps.

Daudzas iespējas, kas izgatavotas no Ķīnas
EE Times līdz šim ir izsekojis vairāk nekā 20 uzņēmumus, kas strādā pie klientu AI paātrinātājiem. Ir vēl daudz vairāk. Ķīnas laikmeta 2017. gada jūlija ziņojumā, kurā AI jaunie uzņēmumi ir modē, sērijveida uzņēmējs Chris Rowen ziņoja par vairākiem, par kuriem vēl neesam dzirdējuši, tostarp DeepGlint, Emotibot, Megvii, Intellifusion, Minieye, Momenta, MorphX, Rokid, SenseTime un Zero Zero Robotika redzes un AISpeech, Mobvoi un Unisound audio.

Ķīnas uzņēmumu nedaudz ir vērts apsvērt.

Horizon Robotics ir viena no interesantākajām. Baidu un Facebook izveidoto nelielo AI ekspertu grupa jau ir piegādājusi divas 40-nm tirdzniecības čipus, kā arī kameras un ADAS apakšsistēmas, kas tos izmanto. Tā ir ieguldījusi vairāk nekā 100 miljonus dolāru riska kapitālā, lai papildinātu ceļvedi, kurā ietilpst 28 un 16 nm mikroshēmas.

Bier teica, ka viņš "redzējis ļoti iespaidīgus demos" no "divu gadu veca uzņēmuma, kas pārvietojas ļoti ātri", padarot to par vienu no četriem AI mikroshēmu starta uzņēmumiem, kurus viņš iesaka.

Vēl viens Bier's iecienītākais ir NovuMind, daļēji tāpēc, ka tā dibinātājs Ren Wu ir viens no nedaudzajiem tehnologiem, kam ir ilgs fons gan AI, gan procesora dizainā. Tās 28-nm NovuTensor mērķis ir nodrošināt 15 tera darbības / sekundes (TOPS) ar ātrumu, kas mazāks par 5 W, un darbiem pie 16 nm.

Divi Ķīnas jaunie uzņēmumi ieguva savus AI kodolus, kas paredzēti viedtālruņos no telefona milžiem.

Cambricon AI bloķē Huawei Kirin 970 klausuli. Maija sākumā uzņēmums paziņoja par savu 1M kodolu, kas sola līdz 5 TOPS / W tālruņiem, viedajiem skaļruņiem, kamerām un automašīnām. Tā arī paziņoja par MLU100, datu centra akseleratoru gobbling 110 W.

DeePhi Aristoteles mikroshēmā tiek izmantota hibrīda CPU / GPU līdzīga arhitektūra. Attēlu avots: DeePhi.
DeePhi no Pekinas ir AI kodols, kas paredzēts Samsung Exynos 9810 un Galaxy S9 klausule. Sākotnēji atbrīvoja savu Aristoteles mikroshēmu CNN un Descartes mikroshēmai RNN, kā arī kamerām, automašīnām un serveriem paredzētiem dēļiem. Rowen uzskata, ka Ķīnā tas ir "viens no visprogresīvākajiem un iespaidīgākajiem no visiem dziļās mācīšanās uzsākšanas".

Kriss Rovens (Chris Rowen) ir sērijveida uzņē mējs, kurš iegrimst AI.
Rowen arī iesaka Pekinā izvietoto Megvii. Startera Face + + seju atpazīšanas tehnoloģija piesaista Ķīnas valdības sejas datubāzi, ko arī izmanto Alibaba AliPay. Rowen teica, ka tā arī piesaista savu miljardu dolāru vērtējumu, lai palīdzētu migrēt mākoņa arhitektūras tehnoloģiju uz iegultām ierīcēm.

Apsildāma sacensība serdeņos
Atgriezies ASV, Intel ir darījis lielisku darbu, cenšoties palikt AI silīcija malā. Uzņēmuma Movidius 2016. gada iegāde ir vērsta uz klientu sistēmām ar mikroshēmām, kas jau parādās vairākās DRO un drošības kamerās. Tā ir izlaidusi vairākas mikroshēmu paaudzes, un Gwennap sagaida, ka tas tiks samazināts līdz kodolam un nākamajos dažos gados parādīsies PC mikroshēmās.

Ja jūs projektējat savu SoC, ir pieejams daudz AI kodolu. Ironiski Arm, kas dominē procesoru IP, būs viens no pēdējiem, kas ieiet AI jomā, kad tā atbrīvo savu ML kodolu šovasar, bet Project Trillium Arm paziņoja februārī, ka tā piedāvājums būs plašs un dziļš.

Cadence, Ceva, iztēle, Synopsys un VeriSilicon ir pieejami vairāki AI kodoli - dažos gadījumos gandrīz divus gadus. Tie ir padarījuši vietu ļoti konkurētspējīgu un bagātīgu ar iespējām dažādos veiktspējas līmeņos, izmantojot dažādas arhitektūras.

Ceva piedāvā virkni no četriem AI kodoliem dažādiem lietošanas gadījumiem. Attēlu avots: Ceva.
Nvidia šeit ir tumšs zirgs. Tas dominē mākoņdatošanas apmācības tirgū ar tā masveida Volta V100 GPU, kas paziņots 2017. gada maijā . Bet tas arī vēlas iekļūt autostāvvietās ar savu Xavier mikroshēmu, kas nāk vēlāk šogad.

Cenšoties pārvarēt stingro konkurenci, Nvidia izveidoja Xavier IP atvērtā koda nosaukumu ar nosaukumu NVDLA. Vairāki mikroshēmas tiek izstrādāti ar IP, bet neviens nav paziņots, teica Nvidia exec martā .

Automobiļu telpa ir īpaši konkurētspējīga. Intel iegādājās Mobileye par AI mikroshēmām automašīnās un cieši sadarbojas ar oriģināliekārtām, tostarp BMW . Starta virkne koncentrējas uz nozari, tostarp AImotive, kas šobrīd izstrādā pārbaudes čipu, kas darbojas savā automašīnu parkā.

Vēl puse desmit jauniešu
Tiem, kam ir kuņģis, lai strādātu ar palaišanu, tur ir daudz citu izsalkušo.

GreenWaves piesaista RISC-V un PULP atvērtā koda projektus, lai piegādātu GAP8, 55-nm mikroshēmu, kas tika paziņota 2016. gadā, un plāno piegādāt 12 GOPS ar 20 mW un 400 MHz. Tās mērķis ir vadīt elektroenerģijas patēriņu IoT ierīcēm, bet nav gaidāma apjoma ražošana līdz gada beigām.

Videantis no Vācijas licencē redzes sistēmu AI kodolu. Tās mērķis ir piegādāt 16 nm diapazonā no 0.1 tera daudzkārtējas akumulācijas sekundē (TMAC / s) ļoti zemu izmaksu ierīcēm līdz 36 TMAC / s augstas veiktspējas ierīcēm, izmantojot daudzkodolu VLIW / SIMD DSP arhitektūru.

ThinCI pagājušā gada augustā sīki izstrādāja Graph Streaming procesoru redzes un ADAS sistēmām Hot Chips, bet teica, ka tas vēl nav piestiprināts. Uzņēmums jau strādā ar ieguldītāju un partneri Denso ar sistēmu, kas, viņuprāt, tiek integrēta 2020 modeļu automašīnās.

Bier saka, ka vēl viens no viņa favorītiem ir Mythic, piemērojot desmit gadus veco procesora atmiņas arhitektūru AI . Tas sola lielu lēcienu veiktspējā / vat, bet daļas netiks ražotas līdz 2019. Gada beigām.

Bijušo Google silīcija inženieru grupa izveidoja startēšanas programmu Groq ar tīmekļa vietni, kurā tiek pieprasīts izdalīšanas procesors ar 8 TOPS / W un 400 TOPS / s, kas šogad tiks piegādāts. Līdz šim uzņēmums nav piešķīris intervijas.

Esperanto novembrī paziņoja, ka plānots uzņemt AI izaicinājumu ar tīru papīru, izmantojot RISC-V serdeņus. Tāpat kā daudzi jaunie uzņēmumi, tajā ietilpst arī veterānu mikroprocesoru inženieru komanda, kas vēlas uzņemties vēsturisku izaicinājumu, taču tā nenodrošina silīcija piegādes termiņus.

Divi cieši novērotie jaunie uzņēmumi plāno izveidot mikroshēmas, bet pārdod sistēmas, iespējams, mērķauditoriju atlasi uzņēmumiem, kuri vēlas palaist AI darbu viņu privātajos mākoņos.

Wave Computing datu plūsmas arhitektūra ir dabiska atbilstība AI algoritmiem, teica Bier. Tomēr šķiet, ka tā neattiecas uz iegultām sistēmām, jo ​​īpaši ņemot vērā to, ka tās mikroshēmā izmanto enerģiju izsalkušo HBM2 atmiņu un tās plānus 3U izmēra Linux ierīcēm.

Tāpat SambaNova martā iznāca no slepenā režīma ar diviem Stanforda tehnologiem un bijušo SPARC procesoru dizaineru Sun Microsystems. Kaut arī plāni joprojām ir skices, aprīļa runas ar tās izpilddirektors norādīja, ka viņš konkurēs ar Wave, lai piegādātu AI ierīces biznesa lietotājiem.

Abi uzņēmumi galu galā spiegotu mikroshēmas vai licencēšanas tehnoloģiju iegultajām sistēmām, tāpēc viņiem ir arī vērts skatīties.