Технологийн компаниуд GPU-ийн төлөө улайрч байна, эсвэл тэдгээрийг олж авах замдаа орсон гэж ярьдаг. Дөрөвдүгээр сард Теслагийн гүйцэтгэх захирал Илон Маск 10,000 GPU худалдаж авсан бөгөөд тус компани NVIDIA-аас их хэмжээний GPU худалдан авахаа үргэлжлүүлнэ гэж мэдэгджээ. Аж ахуйн нэгжийн талаас, мэдээллийн технологийн ажилтнууд хөрөнгө оруулалтын өгөөжийг нэмэгдүүлэхийн тулд GPU-г байнга ашиглахын тулд шаргуу ажиллаж байна. Гэсэн хэдий ч зарим компаниуд GPU-ийн тоо нэмэгдэхийн хэрээр GPU-ийн сул зогсолт улам хүндэрдэг болохыг олж мэднэ.
Хэрэв түүх бидэнд өндөр гүйцэтгэлтэй тооцоолол (HPC) талаар юу ч зааж өгсөн бол энэ нь тооцоололд хэт их анхаарал хандуулахын тулд хадгалалт, сүлжээг золиослох ёсгүй юм. Хэрэв та дэлхийн хамгийн олон GPU-тэй байсан ч хадгалалт нь өгөгдлийг тооцоолох нэгжид үр дүнтэй дамжуулах боломжгүй бол та оновчтой үр дүнд хүрэхгүй.
Small World Big Data компанийн шинжээч Майк Матчеттын хэлснээр, жижиг загваруудыг санах ойд (RAM) ажиллуулж, тооцоололд илүү анхаарал хандуулах боломжийг олгодог. Гэсэн хэдий ч, ChatGPT зэрэг олон тэрбум зангилаа бүхий том загваруудыг өндөр өртөгтэй тул санах ойд хадгалах боломжгүй.
"Та хэдэн тэрбум зангилааг санах ойд багтаах боломжгүй тул санах ой нь илүү чухал болж байна" гэж Матчетт хэлэв. Харамсалтай нь төлөвлөлтийн явцад өгөгдөл хадгалах асуудлыг үл тоомсорлодог.
Ерөнхийдөө, хэрэглээний тохиолдлоос үл хамааран загварын сургалтын үйл явцад дөрвөн нийтлэг зүйл байдаг.
1. Загварын сургалт
2. Дүгнэлтийн хэрэглээ
3. Мэдээлэл хадгалах
4. Хурдасгасан тооцоолол
Загвар үүсгэх, ашиглах үед ихэнх шаардлагууд нь загварчлалын сургалтыг эхлүүлэхийн тулд концепцийг хурдан нотлох (POC) эсвэл туршилтын орчныг чухалчилдаг бөгөөд өгөгдөл хадгалахад онцгой анхаарал хандуулдаггүй.
Гэсэн хэдий ч бэрхшээл нь сургалт эсвэл дүгнэлт гаргах нь хэдэн сар, бүр хэдэн жил үргэлжилж чаддагт оршдог. Энэ хугацаанд олон компаниуд загварынхаа хэмжээг хурдацтай томруулж, өсөн нэмэгдэж буй загвар, мэдээллийн багцад нийцүүлэн дэд бүтэц нь өргөжих ёстой.
Олон сая ML сургалтын ажлын ачааллын талаар Google-ээс хийсэн судалгаагаар сургалтын цагийн дунджаар 30% нь оролтын өгөгдөл дамжуулах хоолойд зарцуулагддаг болохыг харуулж байна. Өнгөрсөн судалгаанууд сургалтыг хурдасгахын тулд GPU-г оновчтой болгоход чиглэгдэж байсан ч өгөгдлийн дамжуулах хоолойн янз бүрийн хэсгүүдийг оновчтой болгоход олон бэрхшээл байсаар байна. Тооцооллын асар их хүч чадалтай бол үр дүнд хүрэхийн тулд тооцоололд өгөгдлийг хэр хурдан оруулах вэ гэдэг нь жинхэнэ саад тотгор болдог.
Тодруулбал, өгөгдөл хадгалах, удирдахад тулгарч буй бэрхшээлүүд нь мэдээллийн өсөлтийг төлөвлөхийг шаарддаг бөгөөд энэ нь танд ахиц дэвшил гаргах тусам өгөгдлийн үнэ цэнийг тасралтгүй гаргаж авах боломжийг олгодог, ялангуяа гүнзгий суралцах, мэдрэлийн сүлжээ гэх мэт илүү өндөр шаардлага тавьдаг. хүчин чадал, гүйцэтгэл, өргөтгөх чадварын хувьд хадгалах.
Ялангуяа:
Өргөтгөх чадвар
Машины сургалт нь асар их хэмжээний өгөгдөлтэй ажиллахыг шаарддаг бөгөөд өгөгдлийн хэмжээ нэмэгдэхийн хэрээр загваруудын нарийвчлал сайжирдаг. Энэ нь бизнесүүд өдөр бүр илүү их мэдээлэл цуглуулж, хадгалах ёстой гэсэн үг юм. Хадгалах хэмжээг нэмэгдүүлэх боломжгүй үед өгөгдөл их шаарддаг ажлын ачаалал нь саад тотгор үүсгэж, гүйцэтгэлийг хязгаарлаж, GPU-ийн сул зогсолтыг бий болгодог.
Уян хатан байдал
Олон төрлийн протоколд (NFS, SMB, HTTP, FTP, HDFS, S3 орно) уян хатан дэмжлэг үзүүлэх нь нэг төрлийн орчинд хязгаарлагдахаас илүү өөр өөр системийн хэрэгцээг хангахад зайлшгүй шаардлагатай.
Хоцролт
Өгөгдлийг олон удаа уншиж, дахин уншдаг тул загвар бүтээх, ашиглахад оролт/гаралтын хоцрогдол чухал байдаг. Оролт гаралтын хоцролтыг багасгах нь загвар өмсөгчдийн сургалтын хугацааг хоногоор эсвэл сараар богиносгодог. Загварыг хурдан хөгжүүлэх нь бизнесийн илүү давуу талыг шууд хөрвүүлдэг.
Дамжуулах чадвар
Хадгалах системийн нэвтрүүлэх чадвар нь загварыг үр дүнтэй сургахад маш чухал юм. Сургалтын үйл явц нь ихэвчлэн цагт терабайтаар хэмжигдэх их хэмжээний өгөгдөл агуулдаг.
Зэрэгцээ хандалт
Өндөр хүчин чадалд хүрэхийн тулд сургалтын загварууд үйл ажиллагааг хэд хэдэн зэрэгцээ даалгавар болгон хуваадаг. Энэ нь ихэвчлэн машин сургалтын алгоритмууд нь олон процессоос (олон физик сервер дээр байж болзошгүй) нэг файлд нэгэн зэрэг ханддаг гэсэн үг юм. Хадгалах систем нь гүйцэтгэлийг алдагдуулахгүйгээр зэрэгцэн ирэх шаардлагыг зохицуулах ёстой.
Dell PowerScale нь бага хоцролт, өндөр дамжуулах чадвар, том хэмжээний зэрэгцээ I/O зэрэг гайхалтай чадвараараа GPU хурдасгасан тооцоололд хамгийн тохиромжтой хадгалах хэрэгсэл юм. PowerScale нь олон терабайт өгөгдлийн багцыг сургаж, турших шинжилгээний загварт шаардагдах хугацааг үр дүнтэй багасгадаг. PowerScale бүх флаш санах ойд зурвасын өргөн 18 дахин нэмэгдэж, оролт гаралтын саатлыг арилгадаг бөгөөд одоо байгаа Isilon кластерт нэмж, их хэмжээний бүтэцгүй өгөгдлийн үнэ цэнийг хурдасгаж, нээх боломжтой.
Нэмж дурдахад PowerScale-ийн олон протоколын хандалтын боломжууд нь ажлын ачааллыг ажиллуулахад хязгааргүй уян хатан байдлыг хангаж, өгөгдлийг нэг протокол ашиглан хадгалж, өөр протокол ашиглан хандах боломжийг олгодог. Тодруулбал, PowerScale платформын хүчирхэг функцууд, уян хатан байдал, өргөтгөх чадвар, аж ахуйн нэгжийн түвшний функцууд нь дараах сорилтуудыг шийдвэрлэхэд тусалдаг:
- Инновацийг 2.7 дахин хурдасгаж, загварын сургалтын мөчлөгийг багасгана.
- Оролцох/Гаралтын саад бэрхшээлийг арилгаж, илүү хурдан загварын сургалт, баталгаажуулалт, сайжруулсан загварын нарийвчлал, мэдээллийн шинжлэх ухааны бүтээмжийг дээшлүүлж, аж ахуйн нэгжийн түвшний онцлог, өндөр гүйцэтгэл, зэрэгцэн ажиллах, өргөтгөх чадварыг ашиглан тооцоолох хөрөнгө оруулалтын өгөөжийг нэмэгдүүлэх. Нэг кластерт 119 PB хүртэлх үр дүнтэй хадгалах багтаамжийг ашиглан илүү гүнзгий, өндөр нарийвчлалтай өгөгдлийн багцын тусламжтайгаар загварын нарийвчлалыг сайжруулаарай.
- Жижиг хэмжээтэй, бие даан өргөтгөх тооцоолол, хадгалалтыг эхлүүлж, мэдээллийн хамгаалалт, аюулгүй байдлын найдвартай сонголтуудыг бий болго.
- Мэдээллийн шинжлэх ухааны бүтээмжийг илүү хурдан, эрсдэл багатай байрлуулахын тулд газар дээрх аналитик болон урьдчилан баталгаажуулсан шийдлүүдийн тусламжтайгаар сайжруулна.
- NVIDIA GPU хурдатгал болон NVIDIA DGX систем бүхий лавлагаа архитектур зэрэг шилдэг технологид суурилсан батлагдсан загваруудыг ашиглах. PowerScale-ийн өндөр гүйцэтгэл, зэрэгцэл нь өгөгдөл цуглуулах, бэлтгэхээс эхлээд загварчлалын сургалт, дүгнэлт хийх хүртэлх машин сургалтын бүх үе шатанд хадгалалтын гүйцэтгэлийн шаардлагыг хангадаг. OneFS үйлдлийн системтэй хамт бүх зангилаанууд нь гүйцэтгэлийн удирдлага, өгөгдлийн удирдлага, аюулгүй байдал, өгөгдөл хамгаалах зэрэг аж ахуйн нэгжийн түвшний онцлог бүхий OneFS-д суурилсан нэг кластер дотор саадгүй ажиллах боломжтой бөгөөд энэ нь бизнесүүдэд загвар сургалт, баталгаажуулалтыг хурдан дуусгах боломжийг олгодог.
Шуудангийн цаг: 2023-07-03
