AI ಎಂದರೆ ಕೇವಲ ಆಕರ್ಷಕ ಮಾದರಿಗಳು ಅಥವಾ ಜನರನ್ನು ಅನುಕರಿಸುವ ಮಾತನಾಡುವ ಸಹಾಯಕರಲ್ಲ. ಇದೆಲ್ಲದರ ಹಿಂದೆ, ಡೇಟಾದ ಪರ್ವತವಿದೆ - ಕೆಲವೊಮ್ಮೆ ಸಾಗರವೂ ಇದೆ. ಮತ್ತು ಪ್ರಾಮಾಣಿಕವಾಗಿ ಹೇಳಬೇಕೆಂದರೆ, ಆ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುವುದೇ? ಅಲ್ಲಿಯೇ ವಿಷಯಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಗೊಂದಲಮಯವಾಗುತ್ತವೆ. ನೀವು ಚಿತ್ರ ಗುರುತಿಸುವಿಕೆ ಪೈಪ್ಲೈನ್ಗಳ ಬಗ್ಗೆ ಮಾತನಾಡುತ್ತಿರಲಿ ಅಥವಾ ದೈತ್ಯ ಭಾಷಾ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತಿರಲಿ, AI ಗಾಗಿ ಡೇಟಾ ಸಂಗ್ರಹಣೆಯ ಅವಶ್ಯಕತೆಗಳು ಬೇಗನೆ ನಿಯಂತ್ರಣ ತಪ್ಪಬಹುದು. ಸಂಗ್ರಹಣೆ ಏಕೆ ಅಂತಹ ಪ್ರಾಣಿಯಾಗಿದೆ, ಮೇಜಿನ ಮೇಲಿರುವ ಆಯ್ಕೆಗಳು ಯಾವುವು ಮತ್ತು ನೀವು ವೆಚ್ಚ, ವೇಗ ಮತ್ತು ಪ್ರಮಾಣವನ್ನು ಹೇಗೆ ನಿಭಾಯಿಸಬಹುದು ಎಂಬುದನ್ನು ವಿವರಿಸೋಣ.
ಇದರ ನಂತರ ನೀವು ಓದಲು ಇಷ್ಟಪಡಬಹುದಾದ ಲೇಖನಗಳು:
🔗 ಡೇಟಾ ವಿಜ್ಞಾನ ಮತ್ತು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ: ನಾವೀನ್ಯತೆಯ ಭವಿಷ್ಯ
AI ಮತ್ತು ಡೇಟಾ ವಿಜ್ಞಾನವು ಆಧುನಿಕ ನಾವೀನ್ಯತೆಯನ್ನು ಹೇಗೆ ನಡೆಸುತ್ತದೆ ಎಂಬುದನ್ನು ಅನ್ವೇಷಿಸುವುದು.
🔗 ಕೃತಕ ದ್ರವ ಬುದ್ಧಿಮತ್ತೆ: AI ಮತ್ತು ವಿಕೇಂದ್ರೀಕೃತ ದತ್ತಾಂಶದ ಭವಿಷ್ಯ.
ವಿಕೇಂದ್ರೀಕೃತ AI ಡೇಟಾ ಮತ್ತು ಉದಯೋನ್ಮುಖ ನಾವೀನ್ಯತೆಗಳ ಬಗ್ಗೆ ಒಂದು ನೋಟ.
🔗 ನೀವು ನೋಡಬೇಕಾದ AI ಪರಿಕರಗಳಿಗಾಗಿ ಡೇಟಾ ನಿರ್ವಹಣೆ
AI ಡೇಟಾ ಸಂಗ್ರಹಣೆ ಮತ್ತು ದಕ್ಷತೆಯನ್ನು ಸುಧಾರಿಸಲು ಪ್ರಮುಖ ತಂತ್ರಗಳು.
🔗 ಡೇಟಾ ವಿಶ್ಲೇಷಕರಿಗೆ ಅತ್ಯುತ್ತಮ AI ಪರಿಕರಗಳು: ವಿಶ್ಲೇಷಣಾ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವಿಕೆಯನ್ನು ವರ್ಧಿಸಿ
ಡೇಟಾ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವಿಕೆಯನ್ನು ಹೆಚ್ಚಿಸುವ ಉನ್ನತ AI ಪರಿಕರಗಳು.
ಹಾಗಾದರೆ... AI ಡೇಟಾ ಸಂಗ್ರಹಣೆಯಿಂದ ಏನು ಪ್ರಯೋಜನ? ✅
ಇದು ಕೇವಲ "ಹೆಚ್ಚು ಟೆರಾಬೈಟ್ಗಳು" ಅಲ್ಲ. ನಿಜವಾದ AI-ಸ್ನೇಹಿ ಸಂಗ್ರಹಣೆಯು ಬಳಸಬಹುದಾದ, ವಿಶ್ವಾಸಾರ್ಹ ಮತ್ತು ತರಬೇತಿ ರನ್ಗಳು ಮತ್ತು ನಿರ್ಣಯದ ಕೆಲಸದ ಹೊರೆಗಳೆರಡಕ್ಕೂ ಸಾಕಷ್ಟು ವೇಗವಾಗಿರುವುದರ ಬಗ್ಗೆ.
ಗಮನಿಸಬೇಕಾದ ಕೆಲವು ಲಕ್ಷಣಗಳು:
-
ಸ್ಕೇಲೆಬಿಲಿಟಿ : ನಿಮ್ಮ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಪುನಃ ಬರೆಯದೆಯೇ GB ಗಳಿಂದ PB ಗಳಿಗೆ ಜಿಗಿಯುವುದು.
-
ಕಾರ್ಯಕ್ಷಮತೆ : ಹೆಚ್ಚಿನ ಲೇಟೆನ್ಸಿ GPU ಗಳನ್ನು ಹಾಳು ಮಾಡುತ್ತದೆ; ಅವು ಅಡಚಣೆಗಳನ್ನು ಕ್ಷಮಿಸುವುದಿಲ್ಲ.
-
ಪುನರುಕ್ತಿ : ಸ್ನ್ಯಾಪ್ಶಾಟ್ಗಳು, ಪ್ರತಿಕೃತಿ, ಆವೃತ್ತಿ - ಏಕೆಂದರೆ ಪ್ರಯೋಗಗಳು ವಿಫಲಗೊಳ್ಳುತ್ತವೆ ಮತ್ತು ಜನರು ಸಹ ಹಾಗೆ ಮಾಡುತ್ತಾರೆ.
-
ವೆಚ್ಚ-ದಕ್ಷತೆ : ಸರಿಯಾದ ಹಂತ, ಸರಿಯಾದ ಕ್ಷಣ; ಇಲ್ಲದಿದ್ದರೆ, ಬಿಲ್ ತೆರಿಗೆ ಲೆಕ್ಕಪರಿಶೋಧನೆಯಂತೆ ನುಸುಳುತ್ತದೆ.
-
ಕಂಪ್ಯೂಟ್ಗೆ ಸಾಮೀಪ್ಯ : GPU ಗಳು/TPU ಗಳು ಅಥವಾ ಗಡಿಯಾರದ ಡೇಟಾ ವಿತರಣಾ ಚಾಕ್ನ ಪಕ್ಕದಲ್ಲಿ ಸಂಗ್ರಹಣೆಯನ್ನು ಇರಿಸಿ.
ಇಲ್ಲದಿದ್ದರೆ, ಅದು ಹುಲ್ಲುಹಾಸಿನ ಯಂತ್ರದ ಇಂಧನದಿಂದ ಫೆರಾರಿಯನ್ನು ಚಲಾಯಿಸಲು ಪ್ರಯತ್ನಿಸಿದಂತೆ - ತಾಂತ್ರಿಕವಾಗಿ ಅದು ಚಲಿಸುತ್ತದೆ, ಆದರೆ ಹೆಚ್ಚು ಕಾಲ ಅಲ್ಲ.
ಹೋಲಿಕೆ ಕೋಷ್ಟಕ: AI ಗಾಗಿ ಸಾಮಾನ್ಯ ಶೇಖರಣಾ ಆಯ್ಕೆಗಳು
| ಸಂಗ್ರಹಣೆ ಪ್ರಕಾರ | ಅತ್ಯುತ್ತಮ ಫಿಟ್ | ಕಾಸ್ಟ್ ಬಾಲ್ ಪಾರ್ಕ್ | ಅದು ಏಕೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ (ಅಥವಾ ಮಾಡುವುದಿಲ್ಲ) |
|---|---|---|---|
| ಮೇಘ ವಸ್ತು ಸಂಗ್ರಹಣೆ | ಸ್ಟಾರ್ಟ್ಅಪ್ಗಳು ಮತ್ತು ಮಧ್ಯಮ ಗಾತ್ರದ ಕಾರ್ಯಾಚರಣೆಗಳು | $$ (ವೇರಿಯಬಲ್) | ಹೊಂದಿಕೊಳ್ಳುವ, ಬಾಳಿಕೆ ಬರುವ, ಡೇಟಾ ಸರೋವರಗಳಿಗೆ ಸೂಕ್ತವಾಗಿದೆ; ನಿರ್ಗಮನ ಶುಲ್ಕಗಳು + ವಿನಂತಿ ಹಿಟ್ಗಳ ಬಗ್ಗೆ ಎಚ್ಚರದಿಂದಿರಿ. |
| ಆವರಣದಲ್ಲಿ NAS | ಐಟಿ ತಂಡಗಳೊಂದಿಗೆ ದೊಡ್ಡ ಸಂಸ್ಥೆಗಳು | $$$$ | ಊಹಿಸಬಹುದಾದ ವಿಳಂಬ, ಪೂರ್ಣ ನಿಯಂತ್ರಣ; ಮುಂಗಡ ಬಂಡವಾಳ + ನಡೆಯುತ್ತಿರುವ ಕಾರ್ಯಾಚರಣೆ ವೆಚ್ಚಗಳು. |
| ಹೈಬ್ರಿಡ್ ಕ್ಲೌಡ್ | ಅನುಸರಣೆ-ಭಾರೀ ಸೆಟಪ್ಗಳು | $$$ | ಸ್ಥಳೀಯ ವೇಗವನ್ನು ಸ್ಥಿತಿಸ್ಥಾಪಕ ಮೋಡದೊಂದಿಗೆ ಸಂಯೋಜಿಸುತ್ತದೆ; ವಾದ್ಯವೃಂದವು ತಲೆನೋವು ಸೇರಿಸುತ್ತದೆ. |
| ಆಲ್-ಫ್ಲ್ಯಾಶ್ ಅರೇಗಳು | ಪರ್ಫ್-ಗೀಳಿನ ಸಂಶೋಧಕರು | $$$$$ | ಹಾಸ್ಯಾಸ್ಪದವಾಗಿ ವೇಗದ IOPS/ಥ್ರೂಪುಟ್; ಆದರೆ TCO ತಮಾಷೆಯಲ್ಲ. |
| ವಿತರಿಸಿದ ಫೈಲ್ ಸಿಸ್ಟಮ್ಗಳು | AI ಅಭಿವೃದ್ಧಿ / HPC ಕ್ಲಸ್ಟರ್ಗಳು | $$–$$$ | ಗಂಭೀರ ಪ್ರಮಾಣದಲ್ಲಿ ಸಮಾನಾಂತರ I/O (ಲಸ್ಟರ್, ಸ್ಪೆಕ್ಟ್ರಮ್ ಸ್ಕೇಲ್); ಓಪ್ಸ್ ಹೊರೆ ನಿಜ. |
AI ಡೇಟಾ ಅಗತ್ಯಗಳು ಏಕೆ ಸ್ಫೋಟಗೊಳ್ಳುತ್ತಿವೆ 🚀
AI ಕೇವಲ ಸೆಲ್ಫಿಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತಿಲ್ಲ. ಅದು ಹಸಿವನ್ನುಂಟುಮಾಡುತ್ತದೆ.
-
ತರಬೇತಿ ಸೆಟ್ಗಳು : ಇಮೇಜ್ನೆಟ್ನ ILSVRC ಮಾತ್ರ ~1.2M ಲೇಬಲ್ ಮಾಡಿದ ಚಿತ್ರಗಳನ್ನು ಪ್ಯಾಕ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಕಾರ್ಪೋರಾ ಅದನ್ನು ಮೀರಿ ಹೋಗುತ್ತದೆ [1].
-
ಆವೃತ್ತಿ : ಪ್ರತಿಯೊಂದು ತಿದ್ದುಪಡಿ - ಲೇಬಲ್ಗಳು, ವಿಭಜನೆಗಳು, ವೃದ್ಧಿಗಳು - ಮತ್ತೊಂದು "ಸತ್ಯ" ವನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ.
-
ಸ್ಟ್ರೀಮಿಂಗ್ ಇನ್ಪುಟ್ಗಳು : ಲೈವ್ ವಿಷನ್, ಟೆಲಿಮೆಟ್ರಿ, ಸೆನ್ಸರ್ ಫೀಡ್ಗಳು... ಇದು ನಿರಂತರ ಬೆಂಕಿಯ ಮೆದುಗೊಳವೆ.
-
ರಚನೆಯಿಲ್ಲದ ಸ್ವರೂಪಗಳು : ಪಠ್ಯ, ವಿಡಿಯೋ, ಆಡಿಯೋ, ಲಾಗ್ಗಳು - ಅಚ್ಚುಕಟ್ಟಾದ SQL ಕೋಷ್ಟಕಗಳಿಗಿಂತ ಹೆಚ್ಚು ದೊಡ್ಡದಾಗಿದೆ.
ಇದು ಎಲ್ಲರೂ ತಿನ್ನಬಹುದಾದ ಬಫೆ, ಮತ್ತು ಮಾಡೆಲ್ ಯಾವಾಗಲೂ ಸಿಹಿತಿಂಡಿಗಾಗಿ ಹಿಂತಿರುಗುತ್ತಾರೆ.
ಕ್ಲೌಡ್ vs ಆನ್-ಪ್ರಿಮೈಸಸ್: ಎಂದಿಗೂ ಮುಗಿಯದ ಚರ್ಚೆ 🌩️🏢
ನಿರ್ಗಮನ ಶುಲ್ಕಗಳನ್ನು ತೋರಿಸುವವರೆಗೆ - ಮತ್ತು ಇದ್ದಕ್ಕಿದ್ದಂತೆ ನಿಮ್ಮ "ಅಗ್ಗದ" ಸಂಗ್ರಹಣೆ ವೆಚ್ಚಗಳು ಪ್ರತಿಸ್ಪರ್ಧಿ ಕಂಪ್ಯೂಟ್ ಖರ್ಚು [2].
ಮತ್ತೊಂದೆಡೆ, ಆನ್-ಪ್ರೇಮ್ ನಿಯಂತ್ರಣ ಮತ್ತು ಘನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡುತ್ತದೆ, ಆದರೆ ನೀವು ಹಾರ್ಡ್ವೇರ್, ಪವರ್, ಕೂಲಿಂಗ್ ಮತ್ತು ಬೇಬಿಸಿಟ್ ರ್ಯಾಕ್ಗಳಿಗೆ ಮಾನವರಿಗೆ ಸಹ ಪಾವತಿಸುತ್ತಿದ್ದೀರಿ.
ಹೆಚ್ಚಿನ ತಂಡಗಳು ಗೊಂದಲಮಯ ಮಧ್ಯದಲ್ಲಿ ನೆಲೆಗೊಳ್ಳುತ್ತವೆ: ಹೈಬ್ರಿಡ್ ಸೆಟಪ್ಗಳು. ಬಿಸಿ, ಸೂಕ್ಷ್ಮ, ಹೆಚ್ಚಿನ-ಥ್ರೂಪುಟ್ ಡೇಟಾವನ್ನು GPU ಗಳ ಹತ್ತಿರ ಇರಿಸಿ ಮತ್ತು ಉಳಿದವುಗಳನ್ನು ಕ್ಲೌಡ್ ಶ್ರೇಣಿಗಳಲ್ಲಿ ಆರ್ಕೈವ್ ಮಾಡಿ.
ನುಸುಳುವ ಶೇಖರಣಾ ವೆಚ್ಚಗಳು 💸
ಸಾಮರ್ಥ್ಯವು ಕೇವಲ ಮೇಲ್ಮೈ ಪದರವಾಗಿದೆ. ಗುಪ್ತ ವೆಚ್ಚಗಳು ರಾಶಿಯಾಗುತ್ತವೆ:
-
ಡೇಟಾ ಚಲನೆ : ಅಂತರ-ಪ್ರದೇಶ ನಕಲುಗಳು, ಅಡ್ಡ-ಮೋಡ ವರ್ಗಾವಣೆಗಳು, ಬಳಕೆದಾರ ನಿರ್ಗಮನವೂ ಸಹ [2].
-
ಪುನರುಕ್ತಿ : 3-2-1 (ಮೂರು ಪ್ರತಿಗಳು, ಎರಡು ಮಾಧ್ಯಮ, ಒಂದು ಆಫ್-ಸೈಟ್) ಅನ್ನು ಅನುಸರಿಸುವುದರಿಂದ ಸ್ಥಳಾವಕಾಶ ಸಿಗುತ್ತದೆ ಆದರೆ ಉಳಿತಾಯವಾಗುತ್ತದೆ [3].
-
ವಿದ್ಯುತ್ ಮತ್ತು ತಂಪಾಗಿಸುವಿಕೆ : ಅದು ನಿಮ್ಮ ರ್ಯಾಕ್ ಆಗಿದ್ದರೆ, ಅದು ನಿಮ್ಮ ಶಾಖದ ಸಮಸ್ಯೆ.
-
ವಿಳಂಬದ ಹೋಲಿಕೆಗಳು : ಅಗ್ಗದ ಶ್ರೇಣಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಹಿಮನದಿಯ ಪುನಃಸ್ಥಾಪನೆಯ ವೇಗವನ್ನು ಸೂಚಿಸುತ್ತವೆ.
ಭದ್ರತೆ ಮತ್ತು ಅನುಸರಣೆ: ಶಾಂತ ಒಪ್ಪಂದ ಮುರಿಯುವವರು 🔒
ಬೈಟ್ಗಳು ಎಲ್ಲಿ ವಾಸಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ನಿಯಮಗಳು ಅಕ್ಷರಶಃ ನಿರ್ದೇಶಿಸಬಹುದು. UK GDPR , ವೈಯಕ್ತಿಕ ಡೇಟಾವನ್ನು UK ಯಿಂದ ಹೊರಗೆ ಸರಿಸಲು ಕಾನೂನುಬದ್ಧ ವರ್ಗಾವಣೆ ಮಾರ್ಗಗಳು (SCC ಗಳು, IDTA ಗಳು ಅಥವಾ ಸಮರ್ಪಕ ನಿಯಮಗಳು) ಅಗತ್ಯವಿದೆ. ಅನುವಾದ: ನಿಮ್ಮ ಸಂಗ್ರಹಣಾ ವಿನ್ಯಾಸವು ಭೌಗೋಳಿಕತೆಯನ್ನು "ತಿಳಿದುಕೊಳ್ಳಬೇಕು" [5].
ಮೊದಲ ದಿನದಿಂದಲೇ ಬೇಯಿಸಲು ಮೂಲಭೂತ ಅಂಶಗಳು:
-
ಗೂಢಲಿಪೀಕರಣ - ವಿಶ್ರಾಂತಿ ಮತ್ತು ಪ್ರಯಾಣ ಎರಡೂ.
-
ಕನಿಷ್ಠ ಸವಲತ್ತು ಪ್ರವೇಶ + ಆಡಿಟ್ ಹಾದಿಗಳು.
-
ಬದಲಾಗದಿರುವಿಕೆ ಅಥವಾ ವಸ್ತುವಿನ ಲಾಕ್ಗಳಂತಹ ರಕ್ಷಣೆಗಳನ್ನು ಅಳಿಸಿ
ಕಾರ್ಯಕ್ಷಮತೆಯ ಅಡಚಣೆಗಳು: ಸುಪ್ತತೆ ಮೂಕ ಹಂತಕ ⚡
GPU ಗಳು ಕಾಯುವುದನ್ನು ಇಷ್ಟಪಡುವುದಿಲ್ಲ. ಸಂಗ್ರಹಣೆ ವಿಳಂಬವಾದರೆ, ಅವು ವೈಭವೀಕರಿಸಿದ ಹೀಟರ್ಗಳಾಗಿವೆ. NVIDIA GPUDirect Storage CPU ಮಧ್ಯವರ್ತಿಯನ್ನು ಕಡಿತಗೊಳಿಸುತ್ತವೆ, NVMe ನಿಂದ GPU ಮೆಮೊರಿಗೆ ಡೇಟಾವನ್ನು ನೇರವಾಗಿ ರವಾನಿಸುತ್ತವೆ - ದೊಡ್ಡ ಬ್ಯಾಚ್ ತರಬೇತಿಯು ಬಯಸುವಂತೆಯೇ [4].
ಸಾಮಾನ್ಯ ಪರಿಹಾರಗಳು:
-
ಬಿಸಿ ತರಬೇತಿ ಚೂರುಗಳಿಗಾಗಿ NVMe ಆಲ್-ಫ್ಲಾಶ್.
-
ಬಹು-ನೋಡ್ ಥ್ರೋಪುಟ್ಗಾಗಿ ಸಮಾನಾಂತರ ಫೈಲ್ ಸಿಸ್ಟಮ್ಗಳು (ಲುಸ್ಟ್ರೆ, ಸ್ಪೆಕ್ಟ್ರಮ್ ಸ್ಕೇಲ್).
-
GPU ಗಳು ನಿಷ್ಕ್ರಿಯವಾಗದಂತೆ ತಡೆಯಲು ಶಾರ್ಡಿಂಗ್ + ಪ್ರಿಫೆಚ್ ಹೊಂದಿರುವ ಅಸಿಂಕ್ ಲೋಡರ್ಗಳು.
AI ಸಂಗ್ರಹಣೆಯನ್ನು ನಿರ್ವಹಿಸಲು ಪ್ರಾಯೋಗಿಕ ಚಲನೆಗಳು 🛠️
-
ಟೈಯರಿಂಗ್ : NVMe/SSD ನಲ್ಲಿ ಹಾಟ್ ಶಾರ್ಡ್ಗಳು; ಹಳೆಯ ಸೆಟ್ಗಳನ್ನು ವಸ್ತು ಅಥವಾ ಕೋಲ್ಡ್ ಟೈರ್ಗಳಾಗಿ ಆರ್ಕೈವ್ ಮಾಡಿ.
-
ಡೆಡಪ್ + ಡೆಲ್ಟಾ : ಬೇಸ್ಲೈನ್ಗಳನ್ನು ಒಮ್ಮೆ ಸಂಗ್ರಹಿಸಿ, ವ್ಯತ್ಯಾಸಗಳು + ಮ್ಯಾನಿಫೆಸ್ಟ್ಗಳನ್ನು ಮಾತ್ರ ಇರಿಸಿ.
-
ಜೀವನಚಕ್ರ ನಿಯಮಗಳು : ಹಳೆಯ ಔಟ್ಪುಟ್ಗಳನ್ನು ಸ್ವಯಂ-ಶ್ರೇಣಿಗೊಳಿಸಿ ಮತ್ತು ಅವಧಿ ಮೀರುವುದು [2].
-
3-2-1 ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವ : ಯಾವಾಗಲೂ ವಿವಿಧ ಮಾಧ್ಯಮಗಳಲ್ಲಿ ಬಹು ಪ್ರತಿಗಳನ್ನು ಇರಿಸಿ, ಒಂದನ್ನು ಪ್ರತ್ಯೇಕಿಸಿ [3].
-
ಇನ್ಸ್ಟ್ರುಮೆಂಟೇಶನ್ : ಟ್ರ್ಯಾಕ್ ಥ್ರೋಪುಟ್, p95/p99 ಲೇಟೆನ್ಸಿಗಳು, ವಿಫಲವಾದ ಓದುವಿಕೆಗಳು, ಕೆಲಸದ ಹೊರೆಯಿಂದ ನಿರ್ಗಮನ.
ಒಂದು ತ್ವರಿತ (ಕಲ್ಪಿತ ಆದರೆ ವಿಶಿಷ್ಟ) ಪ್ರಕರಣ 📚
ಕ್ಲೌಡ್ ಆಬ್ಜೆಕ್ಟ್ ಸ್ಟೋರೇಜ್ನಲ್ಲಿ ~20 TB ಯೊಂದಿಗೆ ವಿಷನ್ ತಂಡವು ಪ್ರಾರಂಭಿಸುತ್ತದೆ. ನಂತರ, ಅವರು ಪ್ರಯೋಗಗಳಿಗಾಗಿ ಪ್ರದೇಶಗಳಲ್ಲಿ ಡೇಟಾಸೆಟ್ಗಳನ್ನು ಕ್ಲೋನಿಂಗ್ ಮಾಡಲು ಪ್ರಾರಂಭಿಸುತ್ತಾರೆ. ಅವರ ವೆಚ್ಚಗಳು ಬಲೂನ್ - ಸ್ಟೋರೇಜ್ನಿಂದಲ್ಲ, ಆದರೆ ಎಗ್ರೆಸ್ ಟ್ರಾಫಿಕ್ನಿಂದ . ಅವರು ಹಾಟ್ ಶಾರ್ಡ್ಗಳನ್ನು GPU ಕ್ಲಸ್ಟರ್ಗೆ ಹತ್ತಿರ NVMe ಗೆ ಬದಲಾಯಿಸುತ್ತಾರೆ, ಆಬ್ಜೆಕ್ಟ್ ಸ್ಟೋರೇಜ್ನಲ್ಲಿ ಕ್ಯಾನೊನಿಕಲ್ ನಕಲನ್ನು ಇಟ್ಟುಕೊಳ್ಳುತ್ತಾರೆ (ಜೀವನಚಕ್ರ ನಿಯಮಗಳೊಂದಿಗೆ), ಮತ್ತು ಅವರಿಗೆ ಅಗತ್ಯವಿರುವ ಮಾದರಿಗಳನ್ನು ಮಾತ್ರ ಪಿನ್ ಮಾಡುತ್ತಾರೆ. ಫಲಿತಾಂಶ: GPU ಗಳು ಹೆಚ್ಚು ಕಾರ್ಯನಿರತವಾಗಿವೆ, ಬಿಲ್ಗಳು ತೆಳ್ಳಗಿರುತ್ತವೆ ಮತ್ತು ಡೇಟಾ ನೈರ್ಮಲ್ಯ ಸುಧಾರಿಸುತ್ತದೆ.
ಹೊದಿಕೆಯ ಹಿಂಭಾಗದ ಸಾಮರ್ಥ್ಯ ಯೋಜನೆ 🧮
ಅಂದಾಜು ಮಾಡಲು ಸ್ಥೂಲ ಸೂತ್ರ:
ಸಾಮರ್ಥ್ಯ ≈ (ಕಚ್ಚಾ ಡೇಟಾಸೆಟ್) × (ಪ್ರತಿಕೃತಿ ಅಂಶ) + (ಪೂರ್ವ-ಸಂಸ್ಕರಿಸಿದ / ವರ್ಧಿತ ಡೇಟಾ) + (ಚೆಕ್ಪಾಯಿಂಟ್ಗಳು + ಲಾಗ್ಗಳು) + (ಸುರಕ್ಷತಾ ಅಂಚು ~15–30%)
ನಂತರ ಅದನ್ನು ಥ್ರೋಪುಟ್ಗೆ ವಿರುದ್ಧವಾಗಿ ಪರಿಶೀಲಿಸಿ. ಪ್ರತಿ-ನೋಡ್ ಲೋಡರ್ಗಳಿಗೆ ~2–4 GB/s ನಿರಂತರ ಅಗತ್ಯವಿದ್ದರೆ, ನೀವು ವಸ್ತು ಸಂಗ್ರಹಣೆಯನ್ನು ಮೂಲ ಸತ್ಯವಾಗಿ ಹೊಂದಿರುವ ಹಾಟ್ ಪಾತ್ಗಳಿಗಾಗಿ NVMe ಅಥವಾ ಸಮಾನಾಂತರ FS ಅನ್ನು ನೋಡುತ್ತಿದ್ದೀರಿ.
ಇದು ಕೇವಲ ಬಾಹ್ಯಾಕಾಶದ ಬಗ್ಗೆ ಅಲ್ಲ 📊
AI ಶೇಖರಣಾ ಅವಶ್ಯಕತೆಗಳನ್ನು ಹೇಳಿದಾಗ , ಅವರು ಟೆರಾಬೈಟ್ಗಳು ಅಥವಾ ಪೆಟಾಬೈಟ್ಗಳನ್ನು ಚಿತ್ರಿಸುತ್ತಾರೆ. ಆದರೆ ನಿಜವಾದ ತಂತ್ರವೆಂದರೆ ಸಮತೋಲನ: ವೆಚ್ಚ vs. ಕಾರ್ಯಕ್ಷಮತೆ, ನಮ್ಯತೆ vs. ಅನುಸರಣೆ, ನಾವೀನ್ಯತೆ vs. ಸ್ಥಿರತೆ. AI ಡೇಟಾ ಶೀಘ್ರದಲ್ಲೇ ಕುಗ್ಗುತ್ತಿಲ್ಲ. ಮಾದರಿ ವಿನ್ಯಾಸಕ್ಕೆ ಮುಂಚಿತವಾಗಿ ಸಂಗ್ರಹಣೆಯನ್ನು ಮಡಿಸುವ ತಂಡಗಳು ಡೇಟಾ ಜೌಗು ಪ್ರದೇಶಗಳಲ್ಲಿ ಮುಳುಗುವುದನ್ನು ತಪ್ಪಿಸುತ್ತವೆ - ಮತ್ತು ಅವರು ವೇಗವಾಗಿ ತರಬೇತಿಯನ್ನು ಸಹ ಪಡೆಯುತ್ತಾರೆ.
ಉಲ್ಲೇಖಗಳು
[1] ರುಸ್ಸಕೋವ್ಸ್ಕಿ ಮತ್ತು ಇತರರು. ಇಮೇಜ್ನೆಟ್ ಲಾರ್ಜ್ ಸ್ಕೇಲ್ ವಿಷುಯಲ್ ರೆಕಗ್ನಿಷನ್ ಚಾಲೆಂಜ್ (IJCV) - ಡೇಟಾಸೆಟ್ ಸ್ಕೇಲ್ ಮತ್ತು ಸವಾಲು. ಲಿಂಕ್
[2] AWS - ಅಮೆಜಾನ್ S3 ಬೆಲೆ ನಿಗದಿ ಮತ್ತು ವೆಚ್ಚಗಳು (ಡೇಟಾ ವರ್ಗಾವಣೆ, ನಿರ್ಗಮನ, ಜೀವನಚಕ್ರ ಶ್ರೇಣಿಗಳು). ಲಿಂಕ್
[3] CISA - 3-2-1 ಬ್ಯಾಕಪ್ ನಿಯಮ ಸಲಹಾ. ಲಿಂಕ್
[4] NVIDIA ಡಾಕ್ಸ್ - GPUDirect ಸ್ಟೋರೇಜ್ ಅವಲೋಕನ. ಲಿಂಕ್
[5] ICO - ಅಂತರರಾಷ್ಟ್ರೀಯ ಡೇಟಾ ವರ್ಗಾವಣೆಗಳ ಕುರಿತು UK GDPR ನಿಯಮಗಳು. ಲಿಂಕ್