Yn y ras i gyflymu deallusrwydd artiffisial, mae cwmni Silicon Valley Cerebras yn cymryd strategaeth anarferol: Ewch yn fawr.
Er bod sglodyn cyfrifiadur nodweddiadol maint llun bys, mae Cerebras' sglodyn yw maint plât cinio.
Mae dysgu dwfn, technoleg AI sy'n pweru cynorthwywyr llais, ceir hunan-yrru a hyrwyddwyr Go, yn dibynnu ar quot" rhwydwaith niwral" meddalwedd wedi'i drefnu mewn haenau. Gall systemau dysgu dwfn redeg ar un cyfrifiadur, ond mae'r systemau mwyaf wedi'u gwasgaru ar draws miloedd o beiriannau cysylltiedig, weithiau mewn canolfannau data mawr, fel y rhai a weithredir gan Google. Mewn clwstwr mawr, mae hyd at 48 o weinyddion maint blwch pizza yn llithro i raciau un dyn o daldra; Mae'r silffoedd wedi'u leinio mewn rhesi ac yn llenwi adeilad o faint warws. Gall y rhwydweithiau niwral yn y systemau hyn ddatrys problemau brawychus, ond maent hefyd yn wynebu heriau amlwg. Mae rhwydwaith sy'n amlhau mewn clwstwr fel ymennydd wedi'i wasgaru ar draws ystafell ac wedi'i gysylltu â'i gilydd. Mae electronau'n symud yn gyflym, ond er hynny, mae'r cyfathrebu ar draws sglodion yn araf ac yn defnyddio llawer o egni.
Sylweddolodd Eric Vishria, partner cyffredinol yn Benchmark, cwmni cyfalaf menter San Francisco, y broblem gyntaf pan glywodd Cerebras Systems, cwmni sglodion cyfrifiadurol newydd, yn siarad yng ngwanwyn 2016. Mae'r meincnod yn adnabyddus am fod yn fuddsoddwr cynnar mewn cwmnïau fel Twitter, Uber, ac ebay - hynny yw, mewn meddalwedd, nid caledwedd. Mae'r cwmni'n edrych ar oddeutu 200 o fusnesau cychwynnol y flwyddyn ac yn buddsoddi mewn un." Roeddem yn chwarae'r gêm hon o gusanu mil o lyffantod," Dywedodd Vishria wrtha i. Ar ddechrau ei araith, penderfynodd daflu'r broga yn ôl." meddyliais, pam wnes i gytuno i hyn?" Nid ydym ni' ail yn mynd i fuddsoddi mewn caledwedd," roedd yn cofio meddwl." Mae'n' s yn dwp."
Dechreuodd cyd-sylfaenydd Cerebras, Andrew Feldman, gyda'r clawr sleidiau i'w sleid tîm a dal sylw Vishria' s: roedd ei ddawn yn drawiadol. Yna cymharodd Feldman y ddau fath o sglodion cyfrifiadurol. Yn gyntaf, edrychodd ar unedau prosesu graffeg, neu Gpus - sglodion a ddyluniwyd yn benodol ar gyfer creu delweddau 3D. Heddiw mae systemau dysgu peiriannau' s yn dibynnu ar y sglodion graffeg hyn am amryw resymau. Nesaf, edrychodd ar unedau prosesu canolog, neu cpus, y sglodion pwrpas cyffredinol sy'n gwneud y rhan fwyaf o'r gwaith mewn cyfrifiadur nodweddiadol." Roedd y drydedd sleid yn ymwneud â' Gpus,' sydd mewn gwirionedd yn ddrwg i ddysgu dwfn - maen nhw jest yn digwydd bod ganwaith yn well na cpus." Mae Cerebras wedi cynnig math newydd o sglodion nad yw wedi'i ddylunio ar gyfer graffeg ond wedi'i gynllunio'n benodol ar gyfer deallusrwydd artiffisial.
Mae Vishria wedi arfer â chlywed caeau gan gwmnïau sy'n bwriadu defnyddio dysgu dwfn mewn seiberddiogelwch, delweddu meddygol, chatbots a chymwysiadau eraill. Ar ôl sgwrs Cerebras' s, siaradodd â pheirianwyr mewn cwmnïau a ariannwyd gan Meincnod, gan gynnwys Zillow, Uber, a Stitch Fix; Dywedon nhw wrtho eu bod nhw'n cael trafferth gydag AI oherwydd ei bod hi'n cymryd gormod o amser i" hyfforddi" y rhwydwaith niwral. Mae Google wedi dechrau defnyddio quot cyflym iawn &; unedau prosesu tensor," neu Tpus, sglodion arbennig wedi'u cynllunio ar gyfer deallusrwydd ARTIFICIAL. Roedd Vishria yn gwybod bod rhuthr aur yn digwydd ac roedd yn rhaid i rywun wneud y pigau a'r rhawiau.
Y flwyddyn honno, arweiniodd Meincnod a Foundation Capital, cwmni Cyfalaf Menter arall, gylch cyllido $ 27 miliwn ar gyfer Cerebras, sydd wedi codi bron i $ 500 miliwn. Mae cwmnïau eraill hefyd yn gwneud cyflymwyr deallusrwydd artiffisial fel y'u gelwir; Cerebras' cododd y cystadleuwyr groq, Graphcore a Sambanova fwy na $ 2 biliwn mewn cyfalaf rhyngddynt. Ond Cerebras' mae'r dull yn unigryw. Yn lle argraffu dwsinau o wafferi ar ddarn mawr o silicon, eu torri i ffwrdd a'u cysylltu â'i gilydd, mae'r cwmni wedi creu dyfynbris anferth &; lefel wafer &; sglodyn. Er bod sglodyn cyfrifiadur nodweddiadol maint llun bys, mae Cerebras tua maint plât cinio a dyma'r sglodyn cyfrifiadur mwyaf yn y byd.
Roedd hyd yn oed cystadleuwyr yn gweld y gamp yn drawiadol." Gwyddoniaeth newydd yw hon," Dywedodd Nigel Toon, prif weithredwr a chyd-sylfaenydd Graphcore' s wrthyf." Mae'n' s yn ddarn anhygoel o beirianneg. Mae'n' sa campwaith." Yn y cyfamser, disgrifiodd peiriannydd arall y siaradais ag ef fel prosiect gwyddoniaeth - mawr er mwyn' s mawr. Yn y gorffennol, mae'r cwmni wedi ceisio a methu â gwneud sglodion enfawr; Cerebras' cynllun yn gyfystyr â bet bod goresgyn heriau peirianneg yn bosibl ac yn werth chweil." I fod yn onest, i mi, mae anwybodaeth yn fantais," Meddai Vishria." Nid wyf yn gwybod' t pe bawn i'n gwybod pa mor anodd yw gwneud yr hyn maen nhw'n ei wneud, byddwn i'n ddigon dewr i fuddsoddi."
Mae'n hawdd cymryd yn ganiataol bod cyfrifiaduron yn cyflymu ac yn gyflymach. Esbonnir hyn yn aml gan Gyfraith Moore' s: y patrwm a sefydlwyd ym 1965 gan yr arloeswr lled-ddargludyddion Gordon Moore, yn ôl y mae nifer y transistorau ar sglodyn yn dyblu bob blwyddyn neu bob dwy flynedd. Wrth gwrs, nid yw Moore' s Law yn gyfraith' t mewn gwirionedd, ac mae peirianwyr yn gweithio'n ddiflino i grebachu transistorau tra hefyd yn gwella'r dyfynbris &; pensaernïaeth" o bob sglodyn i greu dyluniadau mwy effeithlon a phwerus.
Mae penseiri sglodion wedi meddwl ers tro a allai un sglodyn cyfrifiadur ar raddfa fawr fod yn fwy effeithlon na chriw o sglodion llai, yn yr un modd ag y mae dinas ag adnoddau dwys a blociau trwchus yn fwy effeithlon na maestref. Profwyd y syniad gyntaf yn y 1960au, pan gyfyngodd Texas Instruments gynhyrchu sglodion ychydig fodfeddi o led. Ond fe aeth peirianwyr y cwmni' s i broblemau cynnyrch. Ar unrhyw wafer silicon penodol, mae'n anochel bod diffygion gweithgynhyrchu yn peryglu nifer penodol o gylchedau. Os yw wafer yn cynnwys 50 o sglodion, gall y cwmni daflu'r rhai drwg a gwerthu'r rhai da. Ond pe bai pob sglodyn llwyddiannus yn dibynnu ar gylchedwaith gweithio afrlladen sengl, byddai llawer o wafferi drud yn cael eu taflu. Daeth Texas Instruments o hyd i ateb, ond nid oedd y dechnoleg na'r angen' t yno eto.
Yn yr 1980au, ceisiodd peiriannydd o'r enw Gene Amdahl eto ddatrys y broblem gyda chwmni a sefydlodd o'r enw Trilogy Systems. Daeth y cychwyn mwyaf yn hanes Silicon Valley' s, gyda thua $ 250 miliwn mewn cyllid. Er mwyn mynd i'r afael â'r broblem cynnyrch, argraffodd Trilogy gydrannau diangen ar y sglodyn. Mae'r dull hwn yn cynyddu'r cynhyrchiad ond yn lleihau cyflymder y sglodyn. Yn y cyfamser, mae Trilogy yn cael trafferth mewn ffyrdd eraill. Rhedodd Amdahl dros feiciwr modur gyda'i roliau Royce, gan achosi trafferth gyfreithiol; Bu farw ei lywydd o diwmor ar yr ymennydd; Mae glaw trwm wedi gohirio adeiladu ffatrïoedd, rhydu systemau aerdymheru a chasglu llwch ar sglodion. Yn 1984, rhoddodd Trilogy y gorau iddi." Wnes i ddim' t sylweddoli pa mor anodd fyddai hi," Dywedodd mab Amdahl' s wrth The Times.
Os yw technoleg Trilogy' s yn llwyddiannus, gellid ei defnyddio nawr ar gyfer dysgu dwfn. Yn lle, mae Gpus (sglodion a ddefnyddir mewn gemau fideo) yn datrys problemau gwyddonol mewn labordai cenedlaethol. Mae ailddefnyddio gpus ar gyfer AI yn dibynnu ar y ffaith bod rhwydweithiau niwral, er eu bod yn gymhleth iawn, yn dibynnu ar lawer o luosi ac ychwanegu. Pan fydd y dyfynbris &; niwronau" yn y rhwydwaith yn tanio ei gilydd, maent yn chwyddo neu'n lleihau signalau' s, gan eu lluosi â chyfernodau o'r enw pwysau cysylltu. Bydd prosesydd AI effeithlon yn cyfrifo llawer o actifadu ochr yn ochr; Mae'n eu cyfuno i gyfres o rifau o'r enw fectorau, neu gridiau o rifau o'r enw matricsau, neu flociau dimensiwn uwch o'r enw tensorau. Yn ddelfrydol, rydych chi am luosi un matrics neu densor ag un arall ar unwaith. Mae Gpus wedi'u cynllunio i wneud rhywbeth tebyg:
& quot; Mae cysgod Trioleg mor fawr," Dywedodd Feldman wrthyf yn ddiweddar," bod pobl yn stopio meddwl ac yn dechrau dweud,' Mae'n' s yn amhosibl.'" Neidiodd cwmnïau GPU, gan gynnwys Nvidia, ar y cyfle i addasu eu sglodion ar gyfer dysgu dwfn. Yn 2015, dechreuodd Feldman a grŵp o benseiri cyfrifiadurol drafod y syniad o sglodion mwy ar ôl iddynt gyd-sefydlu gwneuthurwr gweinydd cyfrifiadurol, Seamicro, y gwnaethant ei werthu i'r gwneuthurwr sglodion AMD am $ 334 miliwn. Buont yn gweithio ar y mater am bedwar mis mewn swyddfa a fenthycwyd gan gwmni cyfalaf menter. Pan gawsant amlinelliad o ddatrysiad hyfyw, buont yn siarad ag wyth cwmni; Wedi cael cyllid gan Meincnod, Sylfaen Cyfalaf, ac Eclipse, a dechrau llogi.
Cerebras' y dasg gyntaf yw datrys y problemau gweithgynhyrchu sy'n plagio sglodion mawr. Yn wreiddiol, roedd y sglodyn yn ingot silindrog o silicon crisialog tua troedfedd mewn diamedr, a thorrwyd yr ingot dur yn wafferi llai na milimetr o drwch. Yna mae'r cylched yn" wedi'i argraffu" ar y wafer trwy broses o'r enw lithograffeg. Mae cemegau Uv-sensitif yn cael eu dyddodi'n ofalus ar yr wyneb, ac yna mae pelydr o olau UV yn cael ei daflunio trwy dempled manwl o'r enw mwgwd. Mae'r cemegau hyn yn ymateb i gylchedau ffurf.
Fel rheol, mae'r ardal sydd wedi'i gorchuddio â golau sy'n cael ei daflunio trwy'r mwgwd yn dod yn sglodyn. Yna mae'r sglodyn yn symud a rhagamcanir y golau eto. Ar ôl i ddwsinau neu gannoedd o sglodion gael eu hargraffu, cânt eu torri â laser o'r wafer." Y ffordd hawsaf i'w wneud yw i'ch mam dynnu toes cwci crwn," Meddai Feldman." Mae ganddi fowld cwci ac mae hi'n torri'r cwcis yn ofalus." Mae deddfau ffiseg ac opteg yn ei gwneud hi'n amhosibl gwneud torrwr cwci mwy. O ganlyniad," fe wnaethom ddatblygu technoleg fel y gallwch gyfathrebu trwy ychydig o does rhwng dau gwci."
Yn y system argraffu a ddatblygodd Cerebras mewn cydweithrediad â TSMC, y cwmni sy'n gwneud y sglodyn, mae ymylon y cwcis yn gorgyffwrdd fel bod eu gwifrau wedi'u cysylltu. Y canlyniad yw dyfynbris sengl &; maint wafer &; wafer, sgwâr lliw copr a 21cm ar bob ochr. (Mae'r Gpus mwyaf ychydig yn llai na 3cm mewn diamedr.) Cynhyrchodd Cerebras ei sglodyn cyntaf, Wafer scale Engine 1, yn 2019. Mae Wse-2, a gyflwynwyd eleni, yn defnyddio cylched dwysach, gyda 2.6 triliwn o drawsyddyddion wedi'u pacio i mewn i 850,000 o unedau prosesu. , neu" creiddiau" ;. (Dim ond ychydig filoedd o greiddiau sydd gan Gpus Uchaf, tra bod gan y mwyafrif o cpus lai na 10.)
Mae" 2.6 triliwn o drawsyddyddion yn syfrdanol," meddai Aart de Geus, Cadeirydd a chyd-Brif Swyddog Gweithredol Synopsys. Mae Synopsys yn darparu rhywfaint o feddalwedd y mae Cerebras a gwneuthurwyr sglodion eraill yn ei ddefnyddio i wneud a dilysu eu dyluniadau sglodion. Dywed De Geus, wrth ddylunio sglodion, bod yn rhaid i beirianwyr ystyried dau gwestiwn craidd yn gyntaf:" O ble mae'r data'n dod?" Ble mae'n cael ei drin?" Pan oedd sglodion yn symlach, gallai dylunwyr ateb y cwestiynau hyn gyda phensil ar fwrdd lluniadu; Wrth weithio gyda sglodion mwy cymhleth heddiw' s, nodwch god sy'n disgrifio'r bensaernïaeth maen nhw am ei chreu, yna symud ymlaen i offer delweddu a chodio." Meddyliwch sut mae'r tŷ'n edrych o'r to," meddai de Geus." A yw'r garej ger y gegin? Neu a yw'n agos at yr ystafell wely? Rydych chi ei eisiau ger y gegin - fel arall, mae'n rhaid i chi' ll gario nwyddau trwy bob cornel o'r tŷ." Ar ôl dylunio'r cynllun llawr, eglurodd," gallwch ddefnyddio hafaliadau i ddisgrifio'r hyn sy'n digwydd yn yr ystafell."
Mae cymhlethdod dylunio sglodion yn meddwl-boggling." Mae yna lawer o haenau yma," meddai de Geus, gyda chylchedau wedi'u croes-groesi a'u haenu ar ben ei gilydd, fel gorffordd fawr ar y briffordd. Ar gyfer peirianwyr Cerebras, sy'n gweithio ar raddfa wafer, mae'r cymhlethdod yn cael ei ddwysáu. Crynodebau' mae meddalwedd yn helpu ar ffurf deallusrwydd artiffisial: mae algorithmau paru patrymau yn nodi problemau cyffredin ac yn cynnig atebion; Mae'r rhaglen optimizer yn symud yr ystafell i drefniant cyflymach a mwy effeithlon. Os bydd gormod o lonydd yn ceisio gwasgu i mewn i adeilad dau floc, mae'r feddalwedd yn caniatáu i beirianwyr chwarae Robert Moses a symud y bloc.
Yn y diwedd, meddai Feldman, mae sawl mantais i ddyluniadau sglodion rhy fawr. Pan fydd y creiddiau ar yr un sglodyn, maen nhw'n cyfathrebu'n gyflymach: mae'r ymennydd cyfrifiadur' s bellach wedi'i ganoli mewn penglog sengl, yn hytrach na'i wasgaru ar draws ystafell. Mae sglodion mwy hefyd yn trin cof yn well. Yn nodweddiadol, rhaid i sglodyn bach sy'n barod i brosesu ffeil gael y ffeil yn gyntaf o sglodyn cof a rennir sydd wedi'i leoli mewn man arall ar y bwrdd cylched; Dim ond y data a ddefnyddir amlaf sy'n cael ei storio'n agosach at adref. Wrth ddisgrifio effeithlonrwydd sglodion lefel wafer, cynigiodd Feldman gyfatebiaeth: Gofynnodd imi ddychmygu grŵp o gyd-letywyr (craidd) yn byw mewn dorm (sglodyn) a oedd eisiau gwylio gêm bêl-droed (gwneud gwaith cyfrifiadurol). Er mwyn gwylio'r gêm, meddai feldman, mae angen i gyd-letywyr storio cwrw yn yr oergell (mae data'n cael ei storio yn y cof); Mae Cerebras yn cadw oergell ym mhob ystafell felly mae'n rhaid i gyd-letywyr' t fentro mynd i'r gegin' s cegin gymunedol neu Safeway. Mae gan hyn y budd ychwanegol o ganiatáu i bob craidd brosesu gwahanol ddata yn gyflymach." Felly gallaf gael Bud yn fy ystafell dorm," Meddai Feldman." Yn eich dorm, gallwch gael Schlitz."
Yn olaf, rhaid i Cerebras oresgyn problemau cynnyrch. Mae peirianwyr y cwmni' s yn defnyddio tric Trilogy' s: diswyddo. Ond yma mae ganddyn nhw fantais dros eu rhagflaenwyr. Mae trioleg yn ceisio gwneud sglodion generig gyda llawer o wahanol gydrannau, felly efallai y bydd angen cysylltu â gwifrau o amgylch un gydran a fethwyd ag amnewidyn pell. Ar Cerebras' sglodion, mae'r creiddiau i gyd yn union yr un fath. Os yw un bisged yn anghywir, mae'r rhai o'i chwmpas yr un mor dda.