Stóráil Réada le haghaidh AI: Roghanna, Roghanna, Roghanna

Nuair a chloiseann formhór na ndaoine “intleacht shaorga”, samhlaíonn siad líonraí néaracha, halgartaim fhaiseanta, nó b’fhéidir na róbait dhaonna sin atá beagáinín aisteach. Is annamh a luaitear an méid seo a leanas go díreach: itheann hintleacht shaorga stóráil beagnach chomh dian agus a dhéanann sí ríomh. Agus ní hamháin go suíonn aon stóras réada stórála go ciúin sa chúlra, ag déanamh na hoibre neamhghlamánta ach riachtanach chun na sonraí a theastaíonn uathu a bheathú do mhúnlaí.

Déanaimis miondealú ar na rudaí a fhágann go bhfuil stóráil réad chomh ríthábhachtach don Intleacht Shaorga, an chaoi a bhfuil sé difriúil ó “seangharda” na gcóras stórála, agus cén fáth a bhfuil sé ar cheann de na príomhluamháin le haghaidh inscálaitheachta agus feidhmíochta.

Ailt a d’fhéadfadh a bheith spéisiúil duit a léamh i ndiaidh an cheann seo:

🔗 Cé na teicneolaíochtaí is gá a bheith i bhfeidhm chun úsáid a bhaint as hintleacht shaorga giniúnach ar scála mór do ghnólachtaí?
Príomhtheicneolaíochtaí a theastaíonn ó ghnólachtaí chun AI giniúnach a scálú go héifeachtach.

🔗 Bainistíocht sonraí le haghaidh uirlisí AI ar cheart duit breathnú orthu
Dea-chleachtais maidir le sonraí a láimhseáil chun feidhmíocht AI a bharrfheabhsú.

🔗 Impleachtaí na hintleachta saorga do straitéis ghnó
An tionchar a bhíonn ag AI ar straitéisí gnó agus ar chinnteoireacht fhadtéarmach.

Cad a fhágann go bhfuil Stóráil Réad oiriúnach do shaorga intleachta? 🌟

An smaoineamh mór: ní chuireann stóráil réad isteach ar fhillteáin ná ar leagan amach bloc docht. Roinntear sonraí ina "réada", agus gach ceann acu clibeáilte le meiteashonraí. Is féidir leis na meiteashonraí sin a bheith ina rudaí ar leibhéal an chórais (méid, stampaí ama, rang stórála) agus clibeanna eochair:luacha sainithe ag an úsáideoir [1]. Smaoinigh air cosúil le gach comhad a bhfuil carn nótaí greamaitheacha air a insíonn duit go díreach cad é, conas a cruthaíodh é, agus cá n-oireann sé i do phíblíne.

I gcás foirne AI, is athrú cluiche é an tsolúbthacht sin:

• Scálaigh gan aon mhéin - Síneann lochanna sonraí isteach i bpeataibheart, agus láimhseálann stórais réad iad go héasca. Tá siad deartha le haghaidh fáis beagnach gan teorainn agus marthanacht il-AZ (déanann Amazon S3 maíomh as “11 naoi” agus macasamhlú tras-chrios de réir réamhshocraithe) [2].

• Saibhreas meiteashonraí - Cuardaigh níos tapúla, scagairí níos glaine, agus píblínte níos cliste ós rud é go dtagann comhthéacs le gach réad [1].

• Dúchasach don scamall - Tagann sonraí isteach trí HTTP(S), rud a chiallaíonn gur féidir leat tarraingtí a chomhthreomharú agus oiliúint dáilte a choinneáil ag dul ar aghaidh.

• Athléimneacht ionsuite - Nuair a bhíonn tú ag traenáil ar feadh laethanta, ní féidir leat riosca a ghlacadh go maróidh scealp truaillithe epoch 12. Seachnaíonn stóráil réad é sin de réir dearaidh [2].

Is mála droma gan bun é go bunúsach: b'fhéidir salach istigh, ach is féidir gach rud a aisghabháil fós nuair a shroicheann tú dó.

Tábla Comparáide Tapa le haghaidh Stóráil Réada AI 🗂️

Déan seiceáil i gcónaí ar do phraghsáil i gcoinne d'úsáide fíorshaoil ​​- go háirithe imeacht, toirt iarrata, agus meascán ranga stórála.

Cén fáth a bhfuil grá ag Oiliúint AI do Stóráil Réada 🧠

Ní "dornán comhad" atá i gceist le hoiliúint. Is milliúin ar mhilliúin taifead atá briste go comhthreomhar iad. Bíonn córais chomhad ordlathacha ag teip faoi chomhthráthacht throm. Seachnaíonn stóráil réad sin le hainmspásanna cothroma agus APIanna glana. Tá eochair uathúil ag gach réad; scaipeann oibrithe amach agus faigheann siad go comhthreomhar. Tacair sonraí roinnte + ionchur/aschur comhthreomhar = fanann GPUanna gnóthach in ionad fanacht thart.

Leid ó na trinsí: coinnigh blúiríní te in aice leis an mbraisle ríomhaireachta (an réigiún nó an crios céanna), agus cuir taisce go dian ar SSD. Más gá fothaí beagnach díreacha isteach i GPUanna a fháil, NVIDIA GPUDirect Storage - laghdaíonn sé maoláin preab LAP, laghdaíonn sé latency, agus méadaíonn sé bandaleithead díreach chuig luasairí [4].

Meiteashonraí: An Chumhacht Mhór atá Tearcfheicthe 🪄

Seo an áit a lonraíonn stóráil réad ar bhealaí nach bhfuil chomh soiléir céanna. Ag an uaslódáil, is féidir leat meiteashonraí saincheaptha (cosúil le x-amz-meta-… do S3). D’fhéadfadh tacar sonraí fís, mar shampla, clibeanna a chur ar íomhánna le lighting=low nó blur=high. Ligeann sé sin do phíblínte scagadh, cothromaíocht nó stratifying gan comhaid amha a athscanadh [1].

Agus ansin tá leaganacha. Coinníonn go leor stórais réad leaganacha iolracha de réad taobh le taobh - foirfe le haghaidh turgnaimh in-athchruthaithe nó beartais rialachais a bhfuil gá le rolladh siar orthu [5].

Réad vs Bloc vs Stóráil Comhad ⚔️

• Stóráil Bloc: Iontach do bhunachair shonraí idirbheartaíochta - tapa agus beacht - ach ró-chostasach do shonraí neamhstruchtúrtha ar scála petabyte.

• Stóráil Comhad: Eolach, cairdiúil do POSIX, ach bíonn eolairí ag tachtadh faoi ualaí ollmhóra comhthreomhara.

• Stóráil Réada: Deartha ón tús le haghaidh scála, comhthreomhaireachta, agus rochtana atá bunaithe ar mheiteashonraí [1].

Más mian leat meafar neamhchlaonta: is caibinéad comhad é stóráil bhloc, is fillteán deisce é stóráil comhad, agus is poll gan bun é stóráil réad le nótaí greamaitheacha a fhágann go bhfuil sé inúsáidte ar bhealach éigin.

Sreafaí Oibre Hibrideacha AI 🔀

Ní bhíonn sé i gcónaí ar fáil sa scamall amháin. Is mar seo a leanas meascán coitianta:

• Stóráil réad ar an láthair (MinIO, Dell ECS) le haghaidh sonraí íogaire nó rialáilte.

• Stóráil réad scamall le haghaidh ualaí oibre pléasctha, turgnaimh, nó comhoibriú.

Buaileann an chothromaíocht seo costas, comhlíonadh agus aclaíocht. Chonaic mé foirne ag caitheamh teiribit thar oíche i mbuicéad S3 díreach chun braisle GPU sealadach a lasadh - agus ansin é a dhíchumadh nuair a chríochnaíonn an sprint. I gcás buiséid níos déine, déanann samhail ráta comhréidh/gan imeacht Wasabi [3] an saol níos éasca le réamhaisnéis.

An Chuid nach bhfuil Aon Duine ag Maíomh Faoi 😅

Seiceáil réaltachta: níl sé gan smál.

• Moill - Má chuirtear an ríomhaireacht agus an stóráil rófhada óna chéile, beidh do GPUanna ag dul i ngleic leis an obair. GDS , ach tá tábhacht fós leis an ailtireacht [4].

• Iontas costais - Tagann muirir Egress agus iarratais API i réim go seafóideach. Déanann roinnt soláthraithe iad a tharscaoileadh (déanann Wasabi; ní dhéanann cinn eile) [3].

• Anord meiteashonraí ar scála mór - Cé a shainmhíníonn “fírinne” i gclibeanna agus i leaganacha? Beidh conarthaí, beartais agus roinnt cumhachta rialachais ag teastáil uait [5].

Is pluiméireacht bonneagair í stóráil réad: ríthábhachtach, ach níl sí thar a bheith galánta.

Cá bhfuil sé ag dul 🚀

• Stóráil níos cliste, atá feasach ar AI a chlibeálann agus a nochtann sonraí go huathoibríoch trí shraitheanna fiosrúcháin cosúil le SQL [1].

• Comhtháthú crua-earraí níos dlúithe (cosáin DMA, díluchtuithe NIC) ionas nach mbeidh easpa ionchur/aschur ar GPUanna [4].

• Praghsáil thrédhearcach, intuartha (samhlacha simplithe, táillí imeachta tharscaoilte) [3].

Labhraíonn daoine faoin ríomhaireacht mar thodhchaí na hintleachta saorga. Ach i ndáiríre? Is é an bacainn atá ann ná sonraí a bheathú isteach i samhlacha go tapa gan an buiséad a shéideadh. Sin é an fáth nach bhfuil ról stórála réad ach ag fás.

Achoimre 📝

Ní rud lonrach é stóráil réad, ach tá sé bunúsach. Gan stóráil inscálaithe, athléimneach atá feasach ar mheiteashonraí, is cosúil le maratón a rith i sandals é samhlacha móra a oiliúint.

Mar sin, tá tábhacht le GPUanna, tá tábhacht le creatlacha. Ach má tá tú dáiríre faoi AI, ná déan neamhaird den áit a bhfuil do shonraí suite. Is dócha go bhfuil stóráil réad ag cur moill chiúin ar an oibríocht ar fad cheana féin.

Tagairtí

[1] AWS S3 – Meiteashonraí réada - meiteashonraí córais & saincheaptha
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html

[2] AWS S3 – Ranganna stórála - marthanacht (“11 naoi”) + athléimneacht
https://aws.amazon.com/s3/storage-classes/

[3] Wasabi Hot Cloud – Praghsáil - ráta comhréidh, gan aon táillí imeachta/API
https://wasabi.com/pricing

[4] Stóráil GPUDirect NVIDIA – Doiciméid - Cosáin DMA chuig GPUanna
https://docs.nvidia.com/gpudirect-storage/

[5] AWS S3 – Leaganú - leaganacha iolracha le haghaidh rialachais/atáirgtheachta
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html

Faigh an AI is Déanaí ag an Siopa Oifigiúil Cúntóra AI

Fúinn