"ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ" ಎಂದು ಕೇಳಿದಾಗ ಹೆಚ್ಚಿನ ಜನರು ನರಮಂಡಲ ಜಾಲಗಳು, ಅಲಂಕಾರಿಕ ಅಲ್ಗಾರಿದಮ್ಗಳು ಅಥವಾ ಸ್ವಲ್ಪ ವಿಚಿತ್ರವಾದ ಹುಮನಾಯ್ಡ್ ರೋಬೋಟ್ಗಳನ್ನು ಚಿತ್ರಿಸಿಕೊಳ್ಳುತ್ತಾರೆ. ಮೊದಲೇ ವಿರಳವಾಗಿ ಉಲ್ಲೇಖಿಸಲ್ಪಡುವ ವಿಷಯವೆಂದರೆ: AI ಲೆಕ್ಕಾಚಾರ ಮಾಡುವಷ್ಟೇ ಹೊಟ್ಟೆಬಾಕತನದಿಂದ ಸಂಗ್ರಹಣೆಯನ್ನು ತಿನ್ನುತ್ತದೆ. ಮತ್ತು ಯಾವುದೇ ಶೇಖರಣಾ-ವಸ್ತು ಸಂಗ್ರಹಣೆಯು ಹಿನ್ನೆಲೆಯಲ್ಲಿ ಸದ್ದಿಲ್ಲದೆ ಕುಳಿತು, ಅವರಿಗೆ ಅಗತ್ಯವಿರುವ ಡೇಟಾವನ್ನು ಮಾದರಿಗಳನ್ನು ನೀಡುವ ಆಕರ್ಷಕವಲ್ಲದ ಆದರೆ ಸಂಪೂರ್ಣವಾಗಿ ಅಗತ್ಯವಾದ ಕೆಲಸವನ್ನು ಮಾಡುವುದಿಲ್ಲ.
AI ಗೆ ವಸ್ತು ಸಂಗ್ರಹಣೆಯು ಏಕೆ ನಿರ್ಣಾಯಕವಾಗಿದೆ, ಅದು ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳ "ಹಳೆಯ ಸಿಬ್ಬಂದಿ" ಗಿಂತ ಹೇಗೆ ಭಿನ್ನವಾಗಿದೆ ಮತ್ತು ಅದು ಸ್ಕೇಲೆಬಿಲಿಟಿ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಗೆ ಪ್ರಮುಖ ಲಿವರ್ಗಳಲ್ಲಿ ಒಂದಾಗಲು ಕಾರಣವೇನು ಎಂಬುದನ್ನು ವಿವರಿಸೋಣ.
ಇದರ ನಂತರ ನೀವು ಓದಲು ಇಷ್ಟಪಡಬಹುದಾದ ಲೇಖನಗಳು:
🔗 ವ್ಯವಹಾರಕ್ಕಾಗಿ ದೊಡ್ಡ ಪ್ರಮಾಣದ ಉತ್ಪಾದಕ AI ಅನ್ನು ಬಳಸಲು ಯಾವ ತಂತ್ರಜ್ಞಾನಗಳು ಜಾರಿಯಲ್ಲಿರಬೇಕು
ಉತ್ಪಾದಕ AI ಅನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಅಳೆಯಲು ವ್ಯವಹಾರಗಳಿಗೆ ಅಗತ್ಯವಿರುವ ಪ್ರಮುಖ ತಂತ್ರಜ್ಞಾನಗಳು.
🔗 ನೀವು ನೋಡಬೇಕಾದ AI ಪರಿಕರಗಳಿಗಾಗಿ ಡೇಟಾ ನಿರ್ವಹಣೆ
AI ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ಡೇಟಾವನ್ನು ನಿರ್ವಹಿಸಲು ಉತ್ತಮ ಅಭ್ಯಾಸಗಳು.
🔗 ವ್ಯವಹಾರ ತಂತ್ರದ ಮೇಲೆ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಪರಿಣಾಮಗಳು
AI ವ್ಯವಹಾರ ತಂತ್ರಗಳು ಮತ್ತು ದೀರ್ಘಕಾಲೀನ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವಿಕೆಯ ಮೇಲೆ ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ.
AI ಗಾಗಿ ವಸ್ತು ಸಂಗ್ರಹಣೆಯನ್ನು ಯಾವುದು ಟಿಕ್ ಮಾಡುತ್ತದೆ? 🌟
ದೊಡ್ಡ ಐಡಿಯಾ: ಆಬ್ಜೆಕ್ಟ್ ಸ್ಟೋರೇಜ್ ಫೋಲ್ಡರ್ಗಳು ಅಥವಾ ರಿಜಿಡ್ ಬ್ಲಾಕ್ ಲೇಔಟ್ಗಳೊಂದಿಗೆ ತಲೆಕೆಡಿಸಿಕೊಳ್ಳುವುದಿಲ್ಲ. ಇದು ಡೇಟಾವನ್ನು "ಆಬ್ಜೆಕ್ಟ್ಗಳು" ಆಗಿ ವಿಭಜಿಸುತ್ತದೆ, ಪ್ರತಿಯೊಂದನ್ನು ಮೆಟಾಡೇಟಾದೊಂದಿಗೆ ಟ್ಯಾಗ್ ಮಾಡಲಾಗಿದೆ. ಆ ಮೆಟಾಡೇಟಾ ಸಿಸ್ಟಮ್-ಲೆವೆಲ್ ಸ್ಟಫ್ (ಗಾತ್ರ, ಟೈಮ್ಸ್ಟ್ಯಾಂಪ್ಗಳು, ಸ್ಟೋರೇಜ್ ಕ್ಲಾಸ್) ಮತ್ತು ಬಳಕೆದಾರ-ವ್ಯಾಖ್ಯಾನಿತ ಕೀ:ಮೌಲ್ಯ ಟ್ಯಾಗ್ಗಳು [1] ಆಗಿರಬಹುದು. ಪ್ರತಿಯೊಂದು ಫೈಲ್ ಸ್ಟಿಕಿ ನೋಟ್ಗಳ ಸ್ಟಾಕ್ ಅನ್ನು ಹೊಂದಿರುವಂತೆ ಯೋಚಿಸಿ, ಅದು ನಿಖರವಾಗಿ ಏನು, ಅದನ್ನು ಹೇಗೆ ರಚಿಸಲಾಗಿದೆ ಮತ್ತು ಅದು ನಿಮ್ಮ ಪೈಪ್ಲೈನ್ನಲ್ಲಿ ಎಲ್ಲಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ ಎಂದು ನಿಮಗೆ ತಿಳಿಸುತ್ತದೆ.
AI ತಂಡಗಳಿಗೆ, ಆ ನಮ್ಯತೆಯು ಆಟವನ್ನೇ ಬದಲಾಯಿಸುತ್ತದೆ:
-
ಮೈಗ್ರೇನ್ಗಳಿಲ್ಲದೆ ಅಳೆಯಿರಿ - ಡೇಟಾ ಸರೋವರಗಳು ಪೆಟಾಬೈಟ್ಗಳಾಗಿ ವಿಸ್ತರಿಸುತ್ತವೆ ಮತ್ತು ವಸ್ತು ಅಂಗಡಿಗಳು ಅದನ್ನು ಸುಲಭವಾಗಿ ನಿರ್ವಹಿಸುತ್ತವೆ. ಅವುಗಳನ್ನು ಬಹುತೇಕ ಅಪರಿಮಿತ ಬೆಳವಣಿಗೆ ಮತ್ತು ಬಹು-AZ ಬಾಳಿಕೆಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ (ಅಮೆಜಾನ್ S3 ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ "11 ನೈನ್ಗಳು" ಮತ್ತು ಅಡ್ಡ-ವಲಯ ಪ್ರತಿಕೃತಿಯ ಬಗ್ಗೆ ಹೆಮ್ಮೆಪಡುತ್ತದೆ) [2].
-
ಮೆಟಾಡೇಟಾ ಶ್ರೀಮಂತಿಕೆ - ಪ್ರತಿಯೊಂದು ವಸ್ತುವಿನ ಜೊತೆಗೆ ಸಂದರ್ಭವು ಚಲಿಸುವುದರಿಂದ ವೇಗವಾದ ಹುಡುಕಾಟಗಳು, ಸ್ವಚ್ಛವಾದ ಫಿಲ್ಟರ್ಗಳು ಮತ್ತು ಚುರುಕಾದ ಪೈಪ್ಲೈನ್ಗಳು [1].
-
ಕ್ಲೌಡ್-ನೇಟಿವ್ - ಡೇಟಾ HTTP(S) ಮೂಲಕ ಬರುತ್ತದೆ, ಅಂದರೆ ನೀವು ಪುಲ್ಗಳನ್ನು ಸಮಾನಾಂತರಗೊಳಿಸಬಹುದು ಮತ್ತು ವಿತರಿಸಿದ ತರಬೇತಿ ಹಮ್ಮಿಂಗ್ ಅನ್ನು ಮುಂದುವರಿಸಬಹುದು.
-
ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವವನ್ನು ಬೆಳೆಸಲಾಗಿದೆ - ನೀವು ದಿನಗಟ್ಟಲೆ ತರಬೇತಿ ಪಡೆಯುತ್ತಿರುವಾಗ, ನೀವು ಭ್ರಷ್ಟ ಚೂರು ಕೊಲ್ಲುವ ಯುಗ 12 ಅನ್ನು ಅಪಾಯಕ್ಕೆ ಸಿಲುಕಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ವಸ್ತುವಿನ ಸಂಗ್ರಹಣೆಯು ವಿನ್ಯಾಸದ ಮೂಲಕ ಅದನ್ನು ತಪ್ಪಿಸುತ್ತದೆ [2].
ಇದು ಮೂಲತಃ ಒಂದು ತಳವಿಲ್ಲದ ಬೆನ್ನುಹೊರೆಯಂತಿದೆ: ಒಳಗೆ ಬಹುಶಃ ಗಲೀಜಾಗಿರಬಹುದು, ಆದರೆ ನೀವು ಅದನ್ನು ತಲುಪಿದಾಗ ಎಲ್ಲವನ್ನೂ ಇನ್ನೂ ಮರಳಿ ಪಡೆಯಬಹುದು.
AI ವಸ್ತು ಸಂಗ್ರಹಣೆಗಾಗಿ ತ್ವರಿತ ಹೋಲಿಕೆ ಕೋಷ್ಟಕ 🗂️
| ಪರಿಕರ / ಸೇವೆ | (ಪ್ರೇಕ್ಷಕರಿಗೆ) ಅತ್ಯುತ್ತಮವಾದದ್ದು | ಬೆಲೆ ಶ್ರೇಣಿ | ಅದು ಏಕೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ (ಅಂಚುಗಳಲ್ಲಿನ ಟಿಪ್ಪಣಿಗಳು) |
|---|---|---|---|
| ಅಮೆಜಾನ್ ಎಸ್ 3 | ಎಂಟರ್ಪ್ರೈಸಸ್ + ಕ್ಲೌಡ್-ಫಸ್ಟ್ ತಂಡಗಳು | ಪಾವತಿಸಿ | ಅತ್ಯಂತ ಬಾಳಿಕೆ ಬರುವ, ಪ್ರಾದೇಶಿಕವಾಗಿ ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವ [2] |
| Google ಮೇಘ ಸಂಗ್ರಹಣೆ | ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳು ಮತ್ತು ML ಡೆವಲಪರ್ಗಳು | ಹೊಂದಿಕೊಳ್ಳುವ ಶ್ರೇಣಿಗಳು | ಬಲವಾದ ML ಸಂಯೋಜನೆಗಳು, ಸಂಪೂರ್ಣವಾಗಿ ಕ್ಲೌಡ್-ಸ್ಥಳೀಯ |
| ಅಜುರೆ ಬ್ಲಾಬ್ ಸಂಗ್ರಹಣೆ | ಮೈಕ್ರೋಸಾಫ್ಟ್-ಭಾರೀ ಅಂಗಡಿಗಳು | ಶ್ರೇಣೀಕೃತ (ಬಿಸಿ/ತಣ್ಣನೆಯ) | Azure ನ ಡೇಟಾ + ML ಪರಿಕರಗಳೊಂದಿಗೆ ಸರಾಗವಾಗಿ |
| ಮಿನಿಐಒ | ಓಪನ್-ಸೋರ್ಸ್ / DIY ಸೆಟಪ್ಗಳು | ಉಚಿತ/ಸ್ವಯಂ-ಹೋಸ್ಟ್ | S3-ಹೊಂದಾಣಿಕೆ, ಹಗುರ, ಎಲ್ಲಿ ಬೇಕಾದರೂ ನಿಯೋಜಿಸಿ 🚀 |
| ವಾಸಾಬಿ ಬಿಸಿ ಮೋಡ | ವೆಚ್ಚ-ಸೂಕ್ಷ್ಮ ಸಂಸ್ಥೆಗಳು | ಫ್ಲಾಟ್-ರೇಟ್ ಕಡಿಮೆ $ | ಯಾವುದೇ ನಿರ್ಗಮನ ಅಥವಾ API-ವಿನಂತಿ ಶುಲ್ಕಗಳಿಲ್ಲ (ಪ್ರತಿ ಪಾಲಿಸಿಗೆ) [3] |
| IBM ಕ್ಲೌಡ್ ಆಬ್ಜೆಕ್ಟ್ ಸ್ಟೋರೇಜ್ | ದೊಡ್ಡ ಉದ್ಯಮಗಳು | ಬದಲಾಗುತ್ತದೆ | ಬಲವಾದ ಎಂಟರ್ಪ್ರೈಸ್ ಭದ್ರತಾ ಆಯ್ಕೆಗಳೊಂದಿಗೆ ಪ್ರಬುದ್ಧ ಸ್ಟ್ಯಾಕ್ |
ನಿಮ್ಮ ನೈಜ-ಪ್ರಪಂಚದ ಬಳಕೆಯ ಬೆಲೆಯನ್ನು - ವಿಶೇಷವಾಗಿ ನಿರ್ಗಮನ, ವಿನಂತಿಯ ಪ್ರಮಾಣ ಮತ್ತು ಶೇಖರಣಾ-ವರ್ಗದ ಮಿಶ್ರಣದ ವಿರುದ್ಧ ಯಾವಾಗಲೂ ವಿವೇಕ-ಪರಿಶೀಲಿಸಿ.
AI ತರಬೇತಿಯು ವಸ್ತು ಸಂಗ್ರಹಣೆಯನ್ನು ಏಕೆ ಇಷ್ಟಪಡುತ್ತದೆ 🧠
ತರಬೇತಿ ಎಂದರೆ "ಒಂದು ಬೆರಳೆಣಿಕೆಯಷ್ಟು ಫೈಲ್ಗಳು" ಅಲ್ಲ. ಇದು ಲಕ್ಷಾಂತರ ದಾಖಲೆಗಳನ್ನು ಸಮಾನಾಂತರವಾಗಿ ನಾಶಪಡಿಸಲಾಗಿದೆ. ಶ್ರೇಣೀಕೃತ ಫೈಲ್ ಸಿಸ್ಟಮ್ಗಳು ಭಾರೀ ಏಕಕಾಲಿಕತೆಯ ಅಡಿಯಲ್ಲಿ ಬಕಲ್ ಆಗುತ್ತವೆ. ಫ್ಲಾಟ್ ನೇಮ್ಸ್ಪೇಸ್ಗಳು ಮತ್ತು ಕ್ಲೀನ್ API ಗಳೊಂದಿಗೆ ಆಬ್ಜೆಕ್ಟ್ ಸ್ಟೋರೇಜ್ ಅದನ್ನು ಬದಿಗೊತ್ತುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ವಸ್ತುವಿಗೆ ಒಂದು ವಿಶಿಷ್ಟವಾದ ಕೀಲಿ ಇರುತ್ತದೆ; ಕೆಲಸಗಾರರು ಫ್ಯಾನ್ ಔಟ್ ಮಾಡಿ ಸಮಾನಾಂತರವಾಗಿ ಪಡೆಯುತ್ತಾರೆ. ಚೂರುಚೂರಾದ ಡೇಟಾಸೆಟ್ಗಳು + ಸಮಾನಾಂತರ I/O = GPU ಗಳು ಕಾಯುವ ಬದಲು ಕಾರ್ಯನಿರತವಾಗಿರುತ್ತವೆ.
ಕಂದಕಗಳಿಂದ ಸಲಹೆ: ಕಂಪ್ಯೂಟ್ ಕ್ಲಸ್ಟರ್ ಬಳಿ (ಅದೇ ಪ್ರದೇಶ ಅಥವಾ ವಲಯ) ಬಿಸಿ ಚೂರುಗಳನ್ನು ಇರಿಸಿ ಮತ್ತು SSD ಯಲ್ಲಿ ಆಕ್ರಮಣಕಾರಿಯಾಗಿ ಕ್ಯಾಶ್ ಮಾಡಿ. ನಿಮಗೆ GPU ಗಳಿಗೆ ನೇರ ಫೀಡ್ಗಳು ಬೇಕಾದರೆ, NVIDIA GPUDirect ಸಂಗ್ರಹಣೆಯನ್ನು ನೋಡುವುದು ಯೋಗ್ಯವಾಗಿದೆ - ಇದು CPU ಬೌನ್ಸ್ ಬಫರ್ಗಳನ್ನು ಟ್ರಿಮ್ ಮಾಡುತ್ತದೆ, ವಿಳಂಬವನ್ನು ಕಡಿತಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಅನ್ನು ನೇರವಾಗಿ ವೇಗವರ್ಧಕಗಳಿಗೆ ಹೆಚ್ಚಿಸುತ್ತದೆ [4].
ಮೆಟಾಡೇಟಾ: ಅಂಡರ್ರೇಟೆಡ್ ಸೂಪರ್ ಪವರ್ 🪄
ಇಲ್ಲಿ ವಸ್ತು ಸಂಗ್ರಹಣೆಯು ಕಡಿಮೆ ಸ್ಪಷ್ಟ ರೀತಿಯಲ್ಲಿ ಹೊಳೆಯುತ್ತದೆ. ಅಪ್ಲೋಡ್ ಮಾಡುವಾಗ, ನೀವು ಕಸ್ಟಮ್ ಮೆಟಾಡೇಟಾವನ್ನು ಲಗತ್ತಿಸಬಹುದು ( S3 ಗಾಗಿ x-amz-meta-… ನಂತಹ ). ಉದಾಹರಣೆಗೆ, ಒಂದು ವಿಷನ್ ಡೇಟಾಸೆಟ್, ಚಿತ್ರಗಳನ್ನು lighting=low ಅಥವಾ blur=high ನೊಂದಿಗೆ ಟ್ಯಾಗ್ ಮಾಡಬಹುದು. ಅದು ಪೈಪ್ಲೈನ್ಗಳನ್ನು ಕಚ್ಚಾ ಫೈಲ್ಗಳನ್ನು ಮರುಸ್ಕ್ಯಾನ್ ಮಾಡದೆಯೇ ಫಿಲ್ಟರ್ ಮಾಡಲು, ಸಮತೋಲನಗೊಳಿಸಲು ಅಥವಾ ಶ್ರೇಣೀಕರಿಸಲು ಅನುಮತಿಸುತ್ತದೆ [1].
ಮತ್ತು ನಂತರ ಆವೃತ್ತಿ ಇದೆ . ಅನೇಕ ವಸ್ತು ಅಂಗಡಿಗಳು ಒಂದು ವಸ್ತುವಿನ ಬಹು ಆವೃತ್ತಿಗಳನ್ನು ಪಕ್ಕಪಕ್ಕದಲ್ಲಿ ಇಡುತ್ತವೆ - ಪುನರುತ್ಪಾದಿಸಬಹುದಾದ ಪ್ರಯೋಗಗಳು ಅಥವಾ ರೋಲ್ಬ್ಯಾಕ್ಗಳ ಅಗತ್ಯವಿರುವ ಆಡಳಿತ ನೀತಿಗಳಿಗೆ ಪರಿಪೂರ್ಣ [5].
ವಸ್ತು vs ಬ್ಲಾಕ್ vs ಫೈಲ್ ಸಂಗ್ರಹಣೆ ⚔️
-
ಬ್ಲಾಕ್ ಸ್ಟೋರೇಜ್: ವಹಿವಾಟಿನ ಡೇಟಾಬೇಸ್ಗಳಿಗೆ ಅದ್ಭುತವಾಗಿದೆ - ವೇಗ ಮತ್ತು ನಿಖರ - ಆದರೆ ಪೆಟಾಬೈಟ್-ಸ್ಕೇಲ್ ಅನ್ಸ್ಟ್ರಕ್ಚರ್ಡ್ ಡೇಟಾಗೆ ತುಂಬಾ ದುಬಾರಿ.
-
ಫೈಲ್ ಸಂಗ್ರಹಣೆ: ಪರಿಚಿತ, POSIX-ಸ್ನೇಹಿ, ಆದರೆ ಡೈರೆಕ್ಟರಿಗಳು ಬೃಹತ್ ಸಮಾನಾಂತರ ಲೋಡ್ಗಳಿಂದ ಉಸಿರುಗಟ್ಟಿಸುತ್ತವೆ.
-
ವಸ್ತು ಸಂಗ್ರಹಣೆ: ಪ್ರಮಾಣ, ಸಮಾನಾಂತರತೆ ಮತ್ತು ಮೆಟಾಡೇಟಾ-ಚಾಲಿತ ಪ್ರವೇಶಕ್ಕಾಗಿ [1] ಮೊದಲಿನಿಂದಲೂ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ.
ನಿಮಗೆ ಒಂದು ವಿಚಿತ್ರ ರೂಪಕ ಬೇಕಾದರೆ: ಬ್ಲಾಕ್ ಸ್ಟೋರೇಜ್ ಒಂದು ಫೈಲಿಂಗ್ ಕ್ಯಾಬಿನೆಟ್, ಫೈಲ್ ಸ್ಟೋರೇಜ್ ಒಂದು ಡೆಸ್ಕ್ಟಾಪ್ ಫೋಲ್ಡರ್, ಮತ್ತು ಆಬ್ಜೆಕ್ಟ್ ಸ್ಟೋರೇಜ್... ಜಿಗುಟಾದ ಟಿಪ್ಪಣಿಗಳನ್ನು ಹೊಂದಿರುವ ತಳವಿಲ್ಲದ ಗುಂಡಿಯಾಗಿದ್ದು ಅದು ಅದನ್ನು ಹೇಗೋ ಬಳಸುವಂತೆ ಮಾಡುತ್ತದೆ.
ಹೈಬ್ರಿಡ್ AI ವರ್ಕ್ಫ್ಲೋಗಳು 🔀
ಇದು ಯಾವಾಗಲೂ ಮೋಡ-ಮಾತ್ರವಲ್ಲ. ಸಾಮಾನ್ಯ ಮಿಶ್ರಣವು ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:
-
ಸೂಕ್ಷ್ಮ ಅಥವಾ ನಿಯಂತ್ರಿತ ಡೇಟಾಕ್ಕಾಗಿ ಆನ್-ಪ್ರೇಮ್ ಆಬ್ಜೆಕ್ಟ್ ಸ್ಟೋರೇಜ್ (MinIO, Dell ECS)
-
ಬರ್ಸ್ಟ್ ಕೆಲಸದ ಹೊರೆಗಳು, ಪ್ರಯೋಗಗಳು ಅಥವಾ ಸಹಯೋಗಕ್ಕಾಗಿ ಮೇಘ ವಸ್ತು ಸಂಗ್ರಹಣೆ
ಈ ಸಮತೋಲನವು ವೆಚ್ಚ, ಅನುಸರಣೆ ಮತ್ತು ಚುರುಕುತನವನ್ನು ಪರಿಣಾಮ ಬೀರುತ್ತದೆ. ತಾತ್ಕಾಲಿಕ GPU ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಬೆಳಗಿಸಲು ತಂಡಗಳು ರಾತ್ರಿಯಿಡೀ S3 ಬಕೆಟ್ಗೆ ಟೆರಾಬೈಟ್ಗಳನ್ನು ಸುರಿಯುವುದನ್ನು ನಾನು ನೋಡಿದ್ದೇನೆ - ನಂತರ ಸ್ಪ್ರಿಂಟ್ ಮುಗಿದಾಗ ಎಲ್ಲವನ್ನೂ ಪರಮಾಣುಗೊಳಿಸುತ್ತವೆ. ಬಿಗಿಯಾದ ಬಜೆಟ್ಗಳಿಗಾಗಿ, ವಾಸಾಬಿಯ ಫ್ಲಾಟ್-ರೇಟ್/ನೋ-ಎಗ್ರೆಸ್ ಮಾದರಿ [3] ಜೀವನವನ್ನು ಮುನ್ಸೂಚಿಸಲು ಸುಲಭಗೊಳಿಸುತ್ತದೆ.
ಯಾರೂ ಹೆಮ್ಮೆ ಪಡದ ಭಾಗ 😅
ವಾಸ್ತವ ಪರಿಶೀಲನೆ: ಇದು ದೋಷರಹಿತವಲ್ಲ.
-
ಲೇಟೆನ್ಸಿ - ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸ್ಟೋರೇಜ್ ಅನ್ನು ತುಂಬಾ ದೂರ ಇರಿಸಿ ಮತ್ತು ನಿಮ್ಮ GPU ಗಳು ಕ್ರಾಲ್ ಆಗುತ್ತವೆ. GDS ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಆದರೆ ವಾಸ್ತುಶಿಲ್ಪವು ಇನ್ನೂ ಮುಖ್ಯವಾಗಿದೆ [4].
-
ವೆಚ್ಚದ ಆಶ್ಚರ್ಯಗಳು - ನಿರ್ಗಮನ ಮತ್ತು API- ವಿನಂತಿ ಶುಲ್ಕಗಳು ಜನರ ಮೇಲೆ ನುಸುಳುತ್ತವೆ. ಕೆಲವು ಪೂರೈಕೆದಾರರು ಅವುಗಳನ್ನು ಮನ್ನಾ ಮಾಡುತ್ತಾರೆ (ವಾಸಾಬಿ ಮಾಡುತ್ತಾರೆ; ಇತರರು ಮಾಡುವುದಿಲ್ಲ) [3].
-
ಮೆಟಾಡೇಟಾ ಅವ್ಯವಸ್ಥೆಯ ಪ್ರಮಾಣ - ಟ್ಯಾಗ್ಗಳು ಮತ್ತು ಆವೃತ್ತಿಗಳಲ್ಲಿ "ಸತ್ಯ" ಎಂದು ಯಾರು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತಾರೆ? ನಿಮಗೆ ಒಪ್ಪಂದಗಳು, ನೀತಿಗಳು ಮತ್ತು ಕೆಲವು ಆಡಳಿತ ಸ್ನಾಯುಗಳು ಬೇಕಾಗುತ್ತವೆ [5].
ವಸ್ತು ಸಂಗ್ರಹಣೆಯು ಮೂಲಸೌಕರ್ಯಕ್ಕೆ ಪೂರಕವಾಗಿದೆ: ನಿರ್ಣಾಯಕ, ಆದರೆ ಆಕರ್ಷಕವಲ್ಲ.
ಅದು ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತಿದೆ 🚀
-
SQL-ತರಹದ ಪ್ರಶ್ನೆ ಪದರಗಳ ಮೂಲಕ ಡೇಟಾವನ್ನು ಸ್ವಯಂ-ಟ್ಯಾಗ್ ಮಾಡುವ ಮತ್ತು ಬಹಿರಂಗಪಡಿಸುವ ಚುರುಕಾದ, AI-ಅರಿವುಳ್ಳ ಸಂಗ್ರಹಣೆ [1]
-
ಹತ್ತಿರದ ಹಾರ್ಡ್ವೇರ್ ಏಕೀಕರಣ (DMA ಮಾರ್ಗಗಳು, NIC ಆಫ್ಲೋಡ್ಗಳು) ಆದ್ದರಿಂದ GPU ಗಳು I/O- ಸ್ಟಾರ್ವ್ ಆಗಿರುವುದಿಲ್ಲ [4].
-
ಪಾರದರ್ಶಕ, ಊಹಿಸಬಹುದಾದ ಬೆಲೆ ನಿಗದಿ (ಸರಳೀಕೃತ ಮಾದರಿಗಳು, ಮನ್ನಾ ಮಾಡಲಾದ ನಿರ್ಗಮನ ಶುಲ್ಕಗಳು) [3].
ಜನರು ಕಂಪ್ಯೂಟ್ ಬಗ್ಗೆ AI ನ ಭವಿಷ್ಯ ಎಂದು ಮಾತನಾಡುತ್ತಾರೆ. ಆದರೆ ವಾಸ್ತವಿಕವಾಗಿ? ಬಜೆಟ್ ಅನ್ನು ಮೀರಿಸದೆ ಮಾದರಿಗಳಿಗೆ ಡೇಟಾವನ್ನು ವೇಗವಾಗಿ ಪೂರೈಸುವುದರ ಬಗ್ಗೆ ಅಡಚಣೆ ಇದೆ . ಅದಕ್ಕಾಗಿಯೇ ವಸ್ತು ಸಂಗ್ರಹಣೆಯ ಪಾತ್ರವು ಬೆಳೆಯುತ್ತಲೇ ಇದೆ.
ಸಾರಾಂಶ 📝
ವಸ್ತುಗಳ ಸಂಗ್ರಹವು ಆಕರ್ಷಕವಾಗಿಲ್ಲದಿದ್ದರೂ, ಅದು ಮೂಲಭೂತವಾಗಿದೆ. ಸ್ಕೇಲೆಬಲ್, ಮೆಟಾಡೇಟಾ-ಅರಿವು, ಸ್ಥಿತಿಸ್ಥಾಪಕ ಸಂಗ್ರಹಣೆ ಇಲ್ಲದೆ, ದೊಡ್ಡ ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡುವುದು ಸ್ಯಾಂಡಲ್ಗಳಲ್ಲಿ ಮ್ಯಾರಥಾನ್ ಓಡಿದಂತೆ ಭಾಸವಾಗುತ್ತದೆ.
ಹೌದು-GPU ಗಳು ಮುಖ್ಯ, ಚೌಕಟ್ಟುಗಳು ಮುಖ್ಯ. ಆದರೆ ನೀವು AI ಬಗ್ಗೆ ಗಂಭೀರವಾಗಿ ಯೋಚಿಸುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಡೇಟಾ ಎಲ್ಲಿ ವಾಸಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಲಕ್ಷಿಸಬೇಡಿ. ಸಾಧ್ಯತೆಗಳೆಂದರೆ, ವಸ್ತು ಸಂಗ್ರಹಣೆಯು ಈಗಾಗಲೇ ಸಂಪೂರ್ಣ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಸದ್ದಿಲ್ಲದೆ ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುತ್ತಿದೆ.
ಉಲ್ಲೇಖಗಳು
[1] AWS S3 – ಆಬ್ಜೆಕ್ಟ್ ಮೆಟಾಡೇಟಾ - ಸಿಸ್ಟಮ್ & ಕಸ್ಟಮ್ ಮೆಟಾಡೇಟಾ
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html
[2] AWS S3 – ಶೇಖರಣಾ ತರಗತಿಗಳು - ಬಾಳಿಕೆ (“11 ನೈನ್ಸ್”) + ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವ
https://aws.amazon.com/s3/storage-classes/
[3] ವಾಸಾಬಿ ಹಾಟ್ ಕ್ಲೌಡ್ – ಬೆಲೆ ನಿಗದಿ - ಫ್ಲಾಟ್-ರೇಟ್, ಯಾವುದೇ ನಿರ್ಗಮನ/API ಶುಲ್ಕಗಳಿಲ್ಲ
https://wasabi.com/pricing
[4] NVIDIA GPUDirect ಸಂಗ್ರಹಣೆ – ಡಾಕ್ಸ್ - GPU ಗಳಿಗೆ DMA ಮಾರ್ಗಗಳು
https://docs.nvidia.com/gpudirect-storage/
[5] AWS S3 – ಆವೃತ್ತಿ - ಆಡಳಿತ/ಪುನರುತ್ಪಾದನೆಗಾಗಿ ಬಹು ಆವೃತ್ತಿಗಳು
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html