ಸಣ್ಣ ಉತ್ತರ: AI ಮಾದರಿಯನ್ನು ನಿಯೋಜಿಸುವುದು ಎಂದರೆ ಸರ್ವಿಂಗ್ ಪ್ಯಾಟರ್ನ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು (ನೈಜ-ಸಮಯ, ಬ್ಯಾಚ್, ಸ್ಟ್ರೀಮಿಂಗ್ ಅಥವಾ ಎಡ್ಜ್), ನಂತರ ಇಡೀ ಮಾರ್ಗವನ್ನು ಪುನರುತ್ಪಾದಿಸಬಹುದಾದ, ವೀಕ್ಷಿಸಬಹುದಾದ, ಸುರಕ್ಷಿತ ಮತ್ತು ಹಿಂತಿರುಗಿಸಬಹುದಾದಂತೆ ಮಾಡುವುದು. ನೀವು ಎಲ್ಲವನ್ನೂ ಆವೃತ್ತಿ ಮಾಡಿದಾಗ ಮತ್ತು ಉತ್ಪಾದನೆಯಂತಹ ಪೇಲೋಡ್ಗಳಲ್ಲಿ p95/p99 ಲೇಟೆನ್ಸಿಯನ್ನು ಬೆಂಚ್ಮಾರ್ಕ್ ಮಾಡಿದಾಗ, ನೀವು ಹೆಚ್ಚಿನ "ನನ್ನ ಲ್ಯಾಪ್ಟಾಪ್ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ" ವೈಫಲ್ಯಗಳನ್ನು ಬದಿಗಿಡುತ್ತೀರಿ.
ಪ್ರಮುಖ ಅಂಶಗಳು:
ನಿಯೋಜನಾ ಮಾದರಿಗಳು: ಪರಿಕರಗಳಿಗೆ ಬದ್ಧರಾಗುವ ಮೊದಲು ನೈಜ-ಸಮಯ, ಬ್ಯಾಚ್, ಸ್ಟ್ರೀಮಿಂಗ್ ಅಥವಾ ಎಡ್ಜ್ ಅನ್ನು ಆರಿಸಿ.
ಪುನರುತ್ಪಾದನೆ: ಡ್ರಿಫ್ಟ್ ಅನ್ನು ತಡೆಗಟ್ಟಲು ಮಾದರಿ, ವೈಶಿಷ್ಟ್ಯಗಳು, ಕೋಡ್ ಮತ್ತು ಪರಿಸರವನ್ನು ಆವೃತ್ತಿ ಮಾಡಿ.
ವೀಕ್ಷಣೆ: ಲೇಟೆನ್ಸಿ ಟೈಲ್ಗಳು, ದೋಷಗಳು, ಸ್ಯಾಚುರೇಶನ್ ಮತ್ತು ಡೇಟಾ ಅಥವಾ ಔಟ್ಪುಟ್ ವಿತರಣೆಗಳನ್ನು ನಿರಂತರವಾಗಿ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ.
ಸುರಕ್ಷಿತ ರೋಲ್ಔಟ್ಗಳು: ಸ್ವಯಂಚಾಲಿತ ರೋಲ್ಬ್ಯಾಕ್ ಮಿತಿಗಳೊಂದಿಗೆ ಕ್ಯಾನರಿ, ನೀಲಿ-ಹಸಿರು ಅಥವಾ ನೆರಳು ಪರೀಕ್ಷೆಯನ್ನು ಬಳಸಿ.
ಭದ್ರತೆ ಮತ್ತು ಗೌಪ್ಯತೆ: ದೃಢೀಕರಣ, ದರ ಮಿತಿಗಳು ಮತ್ತು ರಹಸ್ಯ ನಿರ್ವಹಣೆಯನ್ನು ಅನ್ವಯಿಸಿ ಮತ್ತು ಲಾಗ್ಗಳಲ್ಲಿ PII ಅನ್ನು ಕಡಿಮೆ ಮಾಡಿ.
ಇದರ ನಂತರ ನೀವು ಓದಲು ಇಷ್ಟಪಡಬಹುದಾದ ಲೇಖನಗಳು:
🔗 AI ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯುವುದು ಹೇಗೆ
ವಿಶ್ವಾಸಾರ್ಹ AI ಫಲಿತಾಂಶಗಳಿಗಾಗಿ ಮೆಟ್ರಿಕ್ಸ್, ಮಾನದಂಡಗಳು ಮತ್ತು ನೈಜ-ಪ್ರಪಂಚದ ಪರಿಶೀಲನೆಗಳನ್ನು ಕಲಿಯಿರಿ.
🔗 AI ಬಳಸಿ ಕಾರ್ಯಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುವುದು ಹೇಗೆ
ಪ್ರಾಂಪ್ಟ್ಗಳು, ಪರಿಕರಗಳು ಮತ್ತು ಏಕೀಕರಣಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಪುನರಾವರ್ತಿತ ಕೆಲಸವನ್ನು ಕೆಲಸದ ಹರಿವುಗಳಾಗಿ ಪರಿವರ್ತಿಸಿ.
🔗 AI ಮಾದರಿಗಳನ್ನು ಪರೀಕ್ಷಿಸುವುದು ಹೇಗೆ
ಮಾದರಿಗಳನ್ನು ವಸ್ತುನಿಷ್ಠವಾಗಿ ಹೋಲಿಸಲು ಮೌಲ್ಯಮಾಪನಗಳು, ಡೇಟಾಸೆಟ್ಗಳು ಮತ್ತು ಸ್ಕೋರಿಂಗ್ಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿ.
🔗 AI ಜೊತೆ ಮಾತನಾಡುವುದು ಹೇಗೆ
ಉತ್ತಮ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಿ, ಸಂದರ್ಭವನ್ನು ಹೊಂದಿಸಿ ಮತ್ತು ಸ್ಪಷ್ಟ ಉತ್ತರಗಳನ್ನು ವೇಗವಾಗಿ ಪಡೆಯಿರಿ.
1) "ನಿಯೋಜನೆ" ಎಂದರೆ ನಿಜವಾಗಿಯೂ ಏನು (ಮತ್ತು ಅದು ಕೇವಲ API ಅಲ್ಲ ಏಕೆ) 🧩
ಜನರು "ಮಾದರಿ ನಿಯೋಜಿಸಿ" ಎಂದು ಹೇಳಿದಾಗ, ಅವರು ಇವುಗಳಲ್ಲಿ ಯಾವುದನ್ನಾದರೂ ಅರ್ಥೈಸಬಹುದು:
-
ಒಂದು ಎಂಡ್ಬಿಂದುವನ್ನು ಬಹಿರಂಗಪಡಿಸಿ ಇದರಿಂದ ಅಪ್ಲಿಕೇಶನ್ ನೈಜ ಸಮಯದಲ್ಲಿ ಅನುಮಾನವನ್ನು ಕರೆಯಬಹುದು (ವರ್ಟೆಕ್ಸ್ AI: ಒಂದು ಮಾದರಿಯನ್ನು ಎಂಡ್ಬಿಂದುವಿಗೆ ನಿಯೋಜಿಸಿ, ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್: ನೈಜ-ಸಮಯದ ಅನುಮಾನ)
-
ಡೇಟಾಬೇಸ್ನಲ್ಲಿ ಭವಿಷ್ಯವಾಣಿಗಳನ್ನು ನವೀಕರಿಸಲು ರಾತ್ರಿಯಿಡೀ ಬ್ಯಾಚ್ ಸ್ಕೋರಿಂಗ್ ಅನ್ನು ರನ್ ಮಾಡಿ ( ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್ ಬ್ಯಾಚ್ ಟ್ರಾನ್ಸ್ಫಾರ್ಮ್ )
-
ಸ್ಟ್ರೀಮ್ ನಿರ್ಣಯ (ಘಟನೆಗಳು ನಿರಂತರವಾಗಿ ಬರುತ್ತವೆ, ಭವಿಷ್ಯವಾಣಿಗಳು ನಿರಂತರವಾಗಿ ಹೊರಬರುತ್ತವೆ) (ಕ್ಲೌಡ್ ಡೇಟಾಫ್ಲೋ: ನಿಖರವಾಗಿ-ಒಮ್ಮೆ vs-ಕನಿಷ್ಠ-ಒಮ್ಮೆ, ಕ್ಲೌಡ್ ಡೇಟಾಫ್ಲೋ ಸ್ಟ್ರೀಮಿಂಗ್ ಮೋಡ್ಗಳು)
-
ಎಡ್ಜ್ ನಿಯೋಜನೆ (ಫೋನ್, ಬ್ರೌಸರ್, ಎಂಬೆಡೆಡ್ ಸಾಧನ, ಅಥವಾ "ಕಾರ್ಖಾನೆಯಲ್ಲಿರುವ ಆ ಸಣ್ಣ ಪೆಟ್ಟಿಗೆ") (LiteRT ಆನ್-ಡಿವೈಸ್ ಇನ್ಫರೆನ್ಸ್, LiteRT ಅವಲೋಕನ)
-
ಆಂತರಿಕ ಪರಿಕರ ನಿಯೋಜನೆ (ವಿಶ್ಲೇಷಕ-ಮುಖಿ UI, ನೋಟ್ಬುಕ್ಗಳು ಅಥವಾ ನಿಗದಿತ ಸ್ಕ್ರಿಪ್ಟ್ಗಳು)
ಆದ್ದರಿಂದ ನಿಯೋಜನೆಯು ಕಡಿಮೆ "ಮಾದರಿ ಪ್ರವೇಶಸಾಧ್ಯತೆಯನ್ನು ಒದಗಿಸಿ" ಮತ್ತು ಹೆಚ್ಚು ಇಷ್ಟವಾಗುತ್ತದೆ:
-
ಪ್ಯಾಕೇಜಿಂಗ್ + ಸರ್ವಿಂಗ್ + ಸ್ಕೇಲಿಂಗ್ + ಮಾನಿಟರಿಂಗ್ + ಆಡಳಿತ + ರೋಲ್ಬ್ಯಾಕ್ (ನೀಲಿ-ಹಸಿರು ನಿಯೋಜನೆ)
ಇದು ಒಂದು ರೀತಿ ರೆಸ್ಟೋರೆಂಟ್ ತೆರೆದಂತೆ. ಉತ್ತಮ ಖಾದ್ಯವನ್ನು ಬೇಯಿಸುವುದು ಮುಖ್ಯ, ಖಂಡಿತ. ಆದರೆ ನಿಮಗೆ ಇನ್ನೂ ಕಟ್ಟಡ, ಸಿಬ್ಬಂದಿ, ರೆಫ್ರಿಜರೇಶನ್, ಮೆನುಗಳು, ಸರಬರಾಜು ಸರಪಳಿ ಮತ್ತು ವಾಕ್-ಇನ್ ಫ್ರೀಜರ್ನಲ್ಲಿ ಅಳದೆ ಊಟದ ರಶ್ ನಿಭಾಯಿಸುವ ಒಂದು ಮಾರ್ಗ ಬೇಕು. ಪರಿಪೂರ್ಣ ರೂಪಕವಲ್ಲ… ಆದರೆ ನೀವು ಅದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತೀರಿ. 🍝
2) “AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ನಿಯೋಜಿಸುವುದು” ಎಂಬುದರ ಉತ್ತಮ ಆವೃತ್ತಿಯನ್ನು ಯಾವುದು ರೂಪಿಸುತ್ತದೆ ✅
"ಉತ್ತಮ ನಿಯೋಜನೆ" ಅತ್ಯುತ್ತಮ ರೀತಿಯಲ್ಲಿ ಬೇಸರ ತರಿಸುತ್ತದೆ. ಅದು ಒತ್ತಡದಲ್ಲಿ ಊಹಿಸಬಹುದಾದಂತೆ ವರ್ತಿಸುತ್ತದೆ ಮತ್ತು ಅದು ಹಾಗೆ ಮಾಡದಿದ್ದಾಗ, ನೀವು ಅದನ್ನು ತ್ವರಿತವಾಗಿ ಪತ್ತೆಹಚ್ಚಬಹುದು.
"ಒಳ್ಳೆಯದು" ಸಾಮಾನ್ಯವಾಗಿ ಹೇಗೆ ಕಾಣುತ್ತದೆ ಎಂಬುದು ಇಲ್ಲಿದೆ:
-
ಪುನರುತ್ಪಾದಕ ಬಿಲ್ಡ್ಗಳು
ಅದೇ ಕೋಡ್ + ಅದೇ ಅವಲಂಬನೆಗಳು = ಅದೇ ನಡವಳಿಕೆ. ನನ್ನ ಲ್ಯಾಪ್ಟಾಪ್ನಲ್ಲಿ ಯಾವುದೇ ಸ್ಪೂಕಿ "ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ" ವೈಬ್ಗಳು 👻 (ಡಾಕರ್: ಕಂಟೇನರ್ ಎಂದರೇನು?) -
ಇಂಟರ್ಫೇಸ್ ಒಪ್ಪಂದವನ್ನು ತೆರವುಗೊಳಿಸಿ
ಇನ್ಪುಟ್ಗಳು, ಔಟ್ಪುಟ್ಗಳು, ಸ್ಕೀಮಾಗಳು ಮತ್ತು ಎಡ್ಜ್ ಪ್ರಕರಣಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲಾಗಿದೆ. ಬೆಳಿಗ್ಗೆ 2 ಗಂಟೆಗೆ ಯಾವುದೇ ಅಚ್ಚರಿಯ ಪ್ರಕಾರಗಳಿಲ್ಲ. (ಓಪನ್ಎಪಿಐ: ಓಪನ್ಎಪಿಐ ಎಂದರೇನು?,ಜೆಎಸ್ಒಎನ್ ಸ್ಕೀಮಾ) -
ವಾಸ್ತವಕ್ಕೆ ಹೊಂದಿಕೆಯಾಗುವ ಕಾರ್ಯಕ್ಷಮತೆ
ಉತ್ಪಾದನೆಯಂತಹ ಹಾರ್ಡ್ವೇರ್ ಮತ್ತು ವಾಸ್ತವಿಕ ಪೇಲೋಡ್ಗಳ ಮೇಲೆ ಅಳೆಯಲಾದ ಸುಪ್ತತೆ ಮತ್ತು ಥ್ರೋಪುಟ್. -
ಹಲ್ಲುಗಳಿಂದ ಮೇಲ್ವಿಚಾರಣೆ
ಕ್ರಿಯೆಯನ್ನು ಪ್ರಚೋದಿಸುವ ಮೆಟ್ರಿಕ್ಗಳು, ಲಾಗ್ಗಳು, ಟ್ರೇಸ್ಗಳು ಮತ್ತು ಡ್ರಿಫ್ಟ್ ಪರಿಶೀಲನೆಗಳು (ಯಾರೂ ತೆರೆಯದ ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳು ಮಾತ್ರವಲ್ಲ). (SRE ಪುಸ್ತಕ: ವಿತರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಮೇಲ್ವಿಚಾರಣೆ) -
ಸುರಕ್ಷಿತ ರೋಲ್ಔಟ್ ತಂತ್ರ
ಕ್ಯಾನರಿ ಅಥವಾ ನೀಲಿ-ಹಸಿರು, ಸುಲಭ ರೋಲ್ಬ್ಯಾಕ್, ಪ್ರಾರ್ಥನೆಯ ಅಗತ್ಯವಿಲ್ಲದ ಆವೃತ್ತಿ. (ಕ್ಯಾನರಿ ಬಿಡುಗಡೆ, ನೀಲಿ-ಹಸಿರು ನಿಯೋಜನೆ) -
ವೆಚ್ಚದ ಅರಿವು
ಬಿಲ್ ಫೋನ್ ಸಂಖ್ಯೆಯಂತೆ ಕಾಣುವವರೆಗೆ "ವೇಗ" ಉತ್ತಮವಾಗಿದೆ 📞💸 -
ಸೀಕ್ರೆಟ್ಸ್ ನಿರ್ವಹಣೆ, ಪ್ರವೇಶ ನಿಯಂತ್ರಣ, PII ನಿರ್ವಹಣೆ, ಲೆಕ್ಕಪರಿಶೋಧನೆಯಲ್ಲಿ ಭದ್ರತೆ ಮತ್ತು ಗೌಪ್ಯತೆಯನ್ನು ಕಾಯ್ದುಕೊಳ್ಳಲಾಗಿದೆ . ( ಕುಬರ್ನೆಟ್ಸ್ ಸೀಕ್ರೆಟ್ಸ್ , NIST SP 800-122 )
ನೀವು ಅವುಗಳನ್ನು ನಿರಂತರವಾಗಿ ಮಾಡಲು ಸಾಧ್ಯವಾದರೆ, ನೀವು ಈಗಾಗಲೇ ಹೆಚ್ಚಿನ ತಂಡಗಳಿಗಿಂತ ಮುಂದಿದ್ದೀರಿ. ಪ್ರಾಮಾಣಿಕವಾಗಿ ಹೇಳಬೇಕೆಂದರೆ.
3) ಸರಿಯಾದ ನಿಯೋಜನೆ ಮಾದರಿಯನ್ನು ಆರಿಸಿ (ನೀವು ಪರಿಕರಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ಮೊದಲು) 🧠
ನೈಜ-ಸಮಯದ API ನಿರ್ಣಯ ⚡
ಯಾವಾಗ ಉತ್ತಮ:
-
ಬಳಕೆದಾರರಿಗೆ ತ್ವರಿತ ಫಲಿತಾಂಶಗಳು ಬೇಕಾಗುತ್ತವೆ (ಶಿಫಾರಸುಗಳು, ವಂಚನೆ ಪರಿಶೀಲನೆಗಳು, ಚಾಟ್, ವೈಯಕ್ತೀಕರಣ)
-
ವಿನಂತಿಯ ಸಮಯದಲ್ಲಿ ನಿರ್ಧಾರಗಳು ಆಗಬೇಕು
ಕಾವಲುಗಳು:
-
p99 ಲೇಟೆನ್ಸಿ ಸರಾಸರಿಗಿಂತ ಹೆಚ್ಚು ಮುಖ್ಯವಾಗಿದೆ (ದಿ ಟೈಲ್ ಅಟ್ ಸ್ಕೇಲ್, SRE ಪುಸ್ತಕ: ಡಿಸ್ಟ್ರಿಬ್ಯೂಟೆಡ್ ಸಿಸ್ಟಮ್ಸ್ ಮೇಲ್ವಿಚಾರಣೆ)
-
ಆಟೋಸ್ಕೇಲಿಂಗ್ಗೆ ಎಚ್ಚರಿಕೆಯಿಂದ ಟ್ಯೂನಿಂಗ್ ಅಗತ್ಯವಿದೆ (ಕುಬರ್ನೆಟ್ಸ್ ಹಾರಿಜಾಂಟಲ್ ಪಾಡ್ ಆಟೋಸ್ಕೇಲಿಂಗ್)
-
ಕೋಲ್ಡ್ ಸ್ಟಾರ್ಟ್ಗಳು ಗುಟ್ಟಾಗಿರಬಹುದು... ಬೆಕ್ಕು ಮೇಜಿನಿಂದ ಗಾಜನ್ನು ತಳ್ಳಿದಂತೆ (AWS ಲ್ಯಾಂಬ್ಡಾ ಎಕ್ಸಿಕ್ಯೂಶನ್ ಎನ್ವಿರಾನ್ಮೆಂಟ್ ಲೈಫ್ಸೈಕಲ್)
ಬ್ಯಾಚ್ ಸ್ಕೋರಿಂಗ್ 📦
ಯಾವಾಗ ಉತ್ತಮ:
-
ಮುನ್ಸೂಚನೆಗಳು ವಿಳಂಬವಾಗಬಹುದು (ರಾತ್ರಿಯ ಅಪಾಯದ ಸ್ಕೋರಿಂಗ್, ಮಂಥನ ಮುನ್ಸೂಚನೆ, ETL ಪುಷ್ಟೀಕರಣ) (ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್ ಬ್ಯಾಚ್ ಟ್ರಾನ್ಸ್ಫಾರ್ಮ್)
-
ನಿಮಗೆ ವೆಚ್ಚ-ಪರಿಣಾಮಕಾರಿತ್ವ ಮತ್ತು ಸರಳ ಕಾರ್ಯಾಚರಣೆಗಳು ಬೇಕು
ಕಾವಲುಗಳು:
-
ಡೇಟಾ ತಾಜಾತನ ಮತ್ತು ಬ್ಯಾಕ್ಫಿಲ್ಗಳು
-
ತರಬೇತಿಯೊಂದಿಗೆ ವೈಶಿಷ್ಟ್ಯ ತರ್ಕವನ್ನು ಸ್ಥಿರವಾಗಿರಿಸಿಕೊಳ್ಳುವುದು
ಸ್ಟ್ರೀಮಿಂಗ್ ಅನುಮಾನ 🌊
ಯಾವಾಗ ಉತ್ತಮ:
-
ನೀವು ಈವೆಂಟ್ಗಳನ್ನು ನಿರಂತರವಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತೀರಿ (IoT, ಕ್ಲಿಕ್ಸ್ಟ್ರೀಮ್ಗಳು, ಮೇಲ್ವಿಚಾರಣಾ ವ್ಯವಸ್ಥೆಗಳು)
-
ಕಟ್ಟುನಿಟ್ಟಾದ ವಿನಂತಿ-ಪ್ರತಿಕ್ರಿಯೆ ಇಲ್ಲದೆ ನೀವು ಬಹುತೇಕ ನೈಜ-ಸಮಯದ ನಿರ್ಧಾರಗಳನ್ನು ಬಯಸುತ್ತೀರಿ
ಕಾವಲುಗಳು:
-
ನಿಖರವಾಗಿ-ಒಮ್ಮೆ vs ಕನಿಷ್ಠ-ಒಮ್ಮೆ ಶಬ್ದಾರ್ಥಗಳು (ಮೇಘ ಡೇಟಾಫ್ಲೋ: ನಿಖರವಾಗಿ-ಒಮ್ಮೆ vs ಕನಿಷ್ಠ-ಒಮ್ಮೆ)
-
ರಾಜ್ಯ ನಿರ್ವಹಣೆ, ಮರುಪ್ರಯತ್ನಗಳು, ವಿಚಿತ್ರ ನಕಲುಗಳು
ಅಂಚಿನ ನಿಯೋಜನೆ 📱
ಯಾವಾಗ ಉತ್ತಮ:
-
ನೆಟ್ವರ್ಕ್ ಅವಲಂಬನೆ ಇಲ್ಲದೆ ಕಡಿಮೆ ಸುಪ್ತತೆ (LiteRT ಆನ್-ಡಿವೈಸ್ ಇನ್ಫರೆನ್ಸ್)
-
ಗೌಪ್ಯತಾ ನಿರ್ಬಂಧಗಳು
-
ಆಫ್ಲೈನ್ ಪರಿಸರಗಳು
ಕಾವಲುಗಳು:
-
ಮಾದರಿ ಗಾತ್ರ, ಬ್ಯಾಟರಿ, ಕ್ವಾಂಟೀಕರಣ, ಹಾರ್ಡ್ವೇರ್ ವಿಘಟನೆ (ತರಬೇತಿಯ ನಂತರದ ಕ್ವಾಂಟೀಕರಣ (ಟೆನ್ಸರ್ಫ್ಲೋ ಮಾದರಿ ಆಪ್ಟಿಮೈಸೇಶನ್))
-
ನವೀಕರಣಗಳು ಹೆಚ್ಚು ಕಷ್ಟ (ನೀವು 30 ಆವೃತ್ತಿಗಳನ್ನು ಕಾಡಿನಲ್ಲಿ ಬಯಸುವುದಿಲ್ಲ…)
ಮೊದಲು ಪ್ಯಾಟರ್ನ್ ಆರಿಸಿ, ನಂತರ ಸ್ಟ್ಯಾಕ್ ಆರಿಸಿ. ಇಲ್ಲದಿದ್ದರೆ ನೀವು ಚೌಕಾಕಾರದ ಮಾದರಿಯನ್ನು ವೃತ್ತಾಕಾರದ ರನ್ಟೈಮ್ಗೆ ಒತ್ತಾಯಿಸುವಿರಿ. ಅಥವಾ ಅಂತಹದ್ದೇನಾದರೂ. 😬
4) ಉತ್ಪಾದನೆಯ ಸಂಪರ್ಕದಿಂದ ಬದುಕುಳಿಯುವಂತೆ ಮಾದರಿಯನ್ನು ಪ್ಯಾಕ್ ಮಾಡುವುದು 📦🧯
ಹೆಚ್ಚಿನ "ಸುಲಭ ನಿಯೋಜನೆಗಳು" ಸದ್ದಿಲ್ಲದೆ ಸಾಯುವುದು ಇಲ್ಲಿಯೇ.
ಆವೃತ್ತಿ ಎಲ್ಲವೂ (ಹೌದು, ಎಲ್ಲವೂ)
-
ಮಾದರಿ ಕಲಾಕೃತಿ (ತೂಕಗಳು, ಗ್ರಾಫ್, ಟೋಕನೈಜರ್, ಲೇಬಲ್ ನಕ್ಷೆಗಳು)
-
ವೈಶಿಷ್ಟ್ಯ ತರ್ಕ (ರೂಪಾಂತರಗಳು, ಸಾಮಾನ್ಯೀಕರಣ, ಎನ್ಕೋಡರ್ಗಳು)
-
ಅನುಮಾನ ಸಂಕೇತ (ಪ್ರಕ್ರಿಯೆಯ ಪೂರ್ವ/ನಂತರ)
-
ಪರಿಸರ (ಪೈಥಾನ್, CUDA, ಸಿಸ್ಟಮ್ ಲಿಬ್ಸ್)
ಕೆಲಸ ಮಾಡುವ ಸರಳ ವಿಧಾನ:
-
ಮಾದರಿಯನ್ನು ಬಿಡುಗಡೆ ಕಲಾಕೃತಿಯಂತೆ ನೋಡಿಕೊಳ್ಳಿ
-
ಅದನ್ನು ಆವೃತ್ತಿ ಟ್ಯಾಗ್ನೊಂದಿಗೆ ಸಂಗ್ರಹಿಸಿ
-
ಮಾದರಿ ಕಾರ್ಡ್-ಇಶ್ ಮೆಟಾಡೇಟಾ ಫೈಲ್ ಅಗತ್ಯವಿದೆ: ಸ್ಕೀಮಾ, ಮೆಟ್ರಿಕ್ಸ್, ತರಬೇತಿ ಡೇಟಾ ಸ್ನ್ಯಾಪ್ಶಾಟ್ ಟಿಪ್ಪಣಿಗಳು, ತಿಳಿದಿರುವ ಮಿತಿಗಳು (ಮಾದರಿ ವರದಿಗಾಗಿ ಮಾದರಿ ಕಾರ್ಡ್ಗಳು)
ಪಾತ್ರೆಗಳು ಸಹಾಯ ಮಾಡುತ್ತವೆ, ಆದರೆ ಅವುಗಳನ್ನು ಪೂಜಿಸಬೇಡಿ 🐳
ಪಾತ್ರೆಗಳು ಉತ್ತಮವಾಗಿವೆ ಏಕೆಂದರೆ ಅವುಗಳು:
-
ಫ್ರೀಜ್ ಅವಲಂಬನೆಗಳು (ಡಾಕರ್: ಕಂಟೇನರ್ ಎಂದರೇನು?)
-
ನಿರ್ಮಾಣಗಳನ್ನು ಪ್ರಮಾಣೀಕರಿಸಿ
-
ನಿಯೋಜನೆ ಗುರಿಗಳನ್ನು ಸರಳಗೊಳಿಸಿ
ಆದರೆ ನೀವು ಇನ್ನೂ ನಿರ್ವಹಿಸಬೇಕಾಗಿದೆ:
-
ಮೂಲ ಚಿತ್ರ ನವೀಕರಣಗಳು
-
GPU ಡ್ರೈವರ್ಗಳ ಹೊಂದಾಣಿಕೆ
-
ಭದ್ರತಾ ಸ್ಕ್ಯಾನಿಂಗ್
-
ಚಿತ್ರದ ಗಾತ್ರ (9GB "ಹಲೋ ವರ್ಲ್ಡ್" ಯಾರಿಗೂ ಇಷ್ಟವಿಲ್ಲ) (ಡಾಕರ್ ಬಿಲ್ಡ್ ಬೆಸ್ಟ್ ಪ್ರಾಕ್ಟೀಸಸ್)
ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಪ್ರಮಾಣೀಕರಿಸಿ
ನಿಮ್ಮ ಇನ್ಪುಟ್/ಔಟ್ಪುಟ್ ಸ್ವರೂಪವನ್ನು ಮೊದಲೇ ನಿರ್ಧರಿಸಿ:
-
ಸರಳತೆಗಾಗಿ JSON (ನಿಧಾನ, ಆದರೆ ಸ್ನೇಹಪರ) (JSON ಸ್ಕೀಮಾ)
-
ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ ಪ್ರೊಟೊಬಫ್ (ಪ್ರೋಟೋಕಾಲ್ ಬಫರ್ಗಳ ಅವಲೋಕನ)
-
ಚಿತ್ರಗಳು/ಆಡಿಯೊಗಾಗಿ ಫೈಲ್-ಆಧಾರಿತ ಪೇಲೋಡ್ಗಳು (ಜೊತೆಗೆ ಮೆಟಾಡೇಟಾ)
ಮತ್ತು ದಯವಿಟ್ಟು ಇನ್ಪುಟ್ಗಳನ್ನು ಮೌಲ್ಯೀಕರಿಸಿ. "ಅದು ಏಕೆ ಅಸಂಬದ್ಧತೆಯನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತಿದೆ" ಟಿಕೆಟ್ಗಳಿಗೆ ಅಮಾನ್ಯ ಇನ್ಪುಟ್ಗಳು ಪ್ರಮುಖ ಕಾರಣ. (OpenAPI: OpenAPI ಎಂದರೇನು?, JSON ಸ್ಕೀಮಾ)
5) ಸೇವೆ ಆಯ್ಕೆಗಳು - "ಸರಳ API" ನಿಂದ ಪೂರ್ಣ ಮಾದರಿ ಸರ್ವರ್ಗಳವರೆಗೆ 🧰
ಎರಡು ಸಾಮಾನ್ಯ ಮಾರ್ಗಗಳಿವೆ:
ಆಯ್ಕೆ ಎ: ಅಪ್ಲಿಕೇಶನ್ ಸರ್ವರ್ + ಅನುಮಾನ ಕೋಡ್ (FastAPI-ಶೈಲಿಯ ವಿಧಾನ) 🧪
ನೀವು ಮಾದರಿಯನ್ನು ಲೋಡ್ ಮಾಡುವ ಮತ್ತು ಭವಿಷ್ಯವಾಣಿಗಳನ್ನು ಹಿಂದಿರುಗಿಸುವ API ಅನ್ನು ಬರೆಯುತ್ತೀರಿ. (FastAPI)
ಪರ:
-
ಕಸ್ಟಮೈಸ್ ಮಾಡಲು ಸುಲಭ
-
ಸರಳ ಮಾದರಿಗಳು ಅಥವಾ ಆರಂಭಿಕ ಹಂತದ ಉತ್ಪನ್ನಗಳಿಗೆ ಉತ್ತಮವಾಗಿದೆ
-
ನೇರ ದೃಢೀಕರಣ, ರೂಟಿಂಗ್ ಮತ್ತು ಏಕೀಕರಣ
ಕಾನ್ಸ್:
-
ನೀವು ಕಾರ್ಯಕ್ಷಮತೆಯ ಶ್ರುತಿ ಹೊಂದಿದ್ದೀರಿ (ಬ್ಯಾಚಿಂಗ್, ಥ್ರೆಡಿಂಗ್, GPU ಬಳಕೆ)
-
ನೀವು ಕೆಲವು ಚಕ್ರಗಳನ್ನು ಮರುಶೋಧಿಸುತ್ತೀರಿ, ಬಹುಶಃ ಮೊದಲಿಗೆ ಕೆಟ್ಟದಾಗಿರಬಹುದು
ಆಯ್ಕೆ ಬಿ: ಮಾದರಿ ಸರ್ವರ್ (ಟಾರ್ಚ್ಸರ್ವ್ / ಟ್ರೈಟಾನ್-ಶೈಲಿಯ ವಿಧಾನ) 🏎️
ನಿರ್ವಹಿಸುವ ವಿಶೇಷ ಸರ್ವರ್ಗಳು:
-
ಬ್ಯಾಚಿಂಗ್ (ಟ್ರೈಟಾನ್: ಡೈನಾಮಿಕ್ ಬ್ಯಾಚಿಂಗ್ & ಕಾನ್ಕರೆಂಟ್ ಮಾಡೆಲ್ ಎಕ್ಸಿಕ್ಯೂಶನ್)
-
ಸಮಕಾಲೀನತೆ (ಟ್ರೈಟಾನ್: ಸಮಕಾಲೀನ ಮಾದರಿ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ)
-
ಬಹು ಮಾದರಿಗಳು
-
GPU ದಕ್ಷತೆ
-
ಪ್ರಮಾಣೀಕೃತ ಎಂಡ್ಬಿಂದುಗಳು (ಟಾರ್ಚ್ಸರ್ವ್ ಡಾಕ್ಸ್, ಟ್ರೈಟಾನ್ ಇನ್ಫರೆನ್ಸ್ ಸರ್ವರ್ ಡಾಕ್ಸ್)
ಪರ:
-
ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮಾದರಿಗಳು
-
ಸೇವೆ ಮತ್ತು ವ್ಯವಹಾರ ತರ್ಕದ ನಡುವಿನ ಸ್ವಚ್ಛವಾದ ಪ್ರತ್ಯೇಕತೆ
ಕಾನ್ಸ್:
-
ಹೆಚ್ಚುವರಿ ಕಾರ್ಯಾಚರಣೆಯ ಸಂಕೀರ್ಣತೆ
-
ಸಂರಚನೆಯು ಶವರ್ ತಾಪಮಾನವನ್ನು ಸರಿಹೊಂದಿಸಿದಂತೆ... ವಿಚಿತ್ರವೆನಿಸಬಹುದು
ಹೈಬ್ರಿಡ್ ಮಾದರಿಯು ತುಂಬಾ ಸಾಮಾನ್ಯವಾಗಿದೆ:
-
ನಿರ್ಣಯಕ್ಕಾಗಿ ಮಾದರಿ ಸರ್ವರ್ (ಟ್ರೈಟಾನ್: ಡೈನಾಮಿಕ್ ಬ್ಯಾಚಿಂಗ್)
-
ದೃಢೀಕರಣ, ವಿನಂತಿ ರೂಪಿಸುವಿಕೆ, ವ್ಯವಹಾರ ನಿಯಮಗಳು ಮತ್ತು ದರ ಮಿತಿಗೊಳಿಸುವಿಕೆಗಾಗಿ ತೆಳುವಾದ API ಗೇಟ್ವೇ (API ಗೇಟ್ವೇ ಥ್ರೊಟ್ಲಿಂಗ್)
6) ಹೋಲಿಕೆ ಕೋಷ್ಟಕ - ನಿಯೋಜಿಸಲು ಜನಪ್ರಿಯ ಮಾರ್ಗಗಳು (ಪ್ರಾಮಾಣಿಕ ವೈಬ್ಗಳೊಂದಿಗೆ) 📊😌
AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ನಿಯೋಜಿಸುವುದು ಎಂಬುದನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವಾಗ ಜನರು ನಿಜವಾಗಿಯೂ ಬಳಸುವ ಆಯ್ಕೆಗಳ ಪ್ರಾಯೋಗಿಕ ಸ್ನ್ಯಾಪ್ಶಾಟ್ ಕೆಳಗೆ ಇದೆ .
| ಪರಿಕರ / ವಿಧಾನ | ಪ್ರೇಕ್ಷಕರು | ಬೆಲೆ | ಅದು ಏಕೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ |
|---|---|---|---|
| ಡಾಕರ್ + ಫಾಸ್ಟ್ಎಪಿಐ (ಅಥವಾ ಅಂತಹುದೇ) | ಸಣ್ಣ ತಂಡಗಳು, ಆರಂಭಿಕರು | ಉಚಿತ | ಸರಳ, ಹೊಂದಿಕೊಳ್ಳುವ, ವೇಗವಾಗಿ ಸಾಗಿಸಲು - ನೀವು ಪ್ರತಿಯೊಂದು ಸ್ಕೇಲಿಂಗ್ ಸಮಸ್ಯೆಯನ್ನು "ಅನುಭವಿಸುತ್ತೀರಿ" (ಡಾಕರ್, ಫಾಸ್ಟ್ಎಪಿಐ) |
| ಕುಬರ್ನೆಟ್ಸ್ (DIY) | ಪ್ಲಾಟ್ಫಾರ್ಮ್ ತಂಡಗಳು | ಇನ್ಫ್ರಾ-ಅವಲಂಬಿತ | ನಿಯಂತ್ರಣ + ಸ್ಕೇಲೆಬಿಲಿಟಿ... ಅಲ್ಲದೆ, ಬಹಳಷ್ಟು ಗುಬ್ಬಿಗಳು, ಅವುಗಳಲ್ಲಿ ಕೆಲವು ಶಾಪಗ್ರಸ್ತವಾಗಿವೆ (ಕುಬರ್ನೆಟ್ಸ್ HPA) |
| ನಿರ್ವಹಿಸಲಾದ ML ಪ್ಲಾಟ್ಫಾರ್ಮ್ (ಕ್ಲೌಡ್ ML ಸೇವೆ) | ಕಡಿಮೆ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಬಯಸುವ ತಂಡಗಳು | ನೀವು ಹೋದಂತೆ ಪಾವತಿಸಿ | ಅಂತರ್ನಿರ್ಮಿತ ನಿಯೋಜನೆ ಕಾರ್ಯಪ್ರವಾಹಗಳು, ಮಾನಿಟರಿಂಗ್ ಹುಕ್ಗಳು - ಯಾವಾಗಲೂ ಆನ್ ಆಗಿರುವ ಎಂಡ್ಪಾಯಿಂಟ್ಗಳಿಗೆ ಕೆಲವೊಮ್ಮೆ ದುಬಾರಿಯಾಗಿದೆ (ವರ್ಟೆಕ್ಸ್ AI ನಿಯೋಜನೆ, ಸೇಜ್ಮೇಕರ್ ನೈಜ-ಸಮಯದ ನಿರ್ಣಯ) |
| ಸರ್ವರ್ಲೆಸ್ ಕಾರ್ಯಗಳು (ಲಘು ನಿರ್ಣಯಕ್ಕಾಗಿ) | ಈವೆಂಟ್-ಚಾಲಿತ ಅಪ್ಲಿಕೇಶನ್ಗಳು | ಪ್ರತಿ ಬಳಕೆಗೆ ಪಾವತಿಸಿ | ಮೊನಚಾದ ಟ್ರಾಫಿಕ್ಗೆ ಉತ್ತಮ - ಆದರೆ ಕೋಲ್ಡ್ ಸ್ಟಾರ್ಟ್ಗಳು ಮತ್ತು ಮಾಡೆಲ್ ಗಾತ್ರವು ನಿಮ್ಮ ದಿನವನ್ನು ಹಾಳುಮಾಡಬಹುದು 😬 (AWS ಲ್ಯಾಂಬ್ಡಾ ಕೋಲ್ಡ್ ಸ್ಟಾರ್ಟ್ಗಳು) |
| NVIDIA ಟ್ರೈಟಾನ್ ಇನ್ಫರೆನ್ಸ್ ಸರ್ವರ್ | ಪ್ರದರ್ಶನ-ಕೇಂದ್ರಿತ ತಂಡಗಳು | ಉಚಿತ ಸಾಫ್ಟ್ವೇರ್, ಮೂಲಸೌಕರ್ಯ | ಅತ್ಯುತ್ತಮ GPU ಬಳಕೆ, ಬ್ಯಾಚಿಂಗ್, ಬಹು-ಮಾದರಿ - ಸಂರಚನೆಗೆ ತಾಳ್ಮೆ ಬೇಕು (ಟ್ರೈಟಾನ್: ಡೈನಾಮಿಕ್ ಬ್ಯಾಚಿಂಗ್) |
| ಟಾರ್ಚ್ಸರ್ವ್ | ಪೈಟಾರ್ಚ್-ಭಾರೀ ತಂಡಗಳು | ಉಚಿತ ಸಾಫ್ಟ್ವೇರ್ | ಯೋಗ್ಯವಾದ ಡೀಫಾಲ್ಟ್ ಸರ್ವಿಂಗ್ ಪ್ಯಾಟರ್ನ್ಗಳು - ಹೆಚ್ಚಿನ ಪ್ರಮಾಣಕ್ಕೆ ಟ್ಯೂನಿಂಗ್ ಅಗತ್ಯವಿರಬಹುದು (ಟಾರ್ಚ್ಸರ್ವ್ ಡಾಕ್ಸ್) |
| ಬೆಂಟೊಎಂಎಲ್ (ಪ್ಯಾಕೇಜಿಂಗ್ + ಸರ್ವಿಂಗ್) | ಎಂಎಲ್ ಎಂಜಿನಿಯರ್ಗಳು | ಉಚಿತ ಕೋರ್, ಹೆಚ್ಚುವರಿಗಳು ಬದಲಾಗುತ್ತವೆ | ಸುಗಮ ಪ್ಯಾಕೇಜಿಂಗ್, ಉತ್ತಮ ಡೆವಲಪರ್ ಅನುಭವ - ನಿಮಗೆ ಇನ್ನೂ ಮೂಲಸೌಕರ್ಯ ಆಯ್ಕೆಗಳು ಬೇಕಾಗುತ್ತವೆ (ನಿಯೋಜನೆಗಾಗಿ ಬೆಂಟೊಎಂಎಲ್ ಪ್ಯಾಕೇಜಿಂಗ್) |
| ರೇ ಸರ್ವ್ | ವಿತರಿಸಿದ ವ್ಯವಸ್ಥೆಗಳು ಜನರೇ | ಇನ್ಫ್ರಾ-ಅವಲಂಬಿತ | ಅಡ್ಡಲಾಗಿ ಮಾಪಕಗಳು, ಪೈಪ್ಲೈನ್ಗಳಿಗೆ ಒಳ್ಳೆಯದು - ಸಣ್ಣ ಯೋಜನೆಗಳಿಗೆ "ದೊಡ್ಡದು" ಎಂದು ಭಾಸವಾಗುತ್ತದೆ (ರೇ ಸರ್ವ್ ಡಾಕ್ಸ್) |
ಟೇಬಲ್ ಟಿಪ್ಪಣಿ: “ಫ್ರೀ-ಇಶ್” ಎಂಬುದು ನಿಜ ಜೀವನದ ಪರಿಭಾಷೆ. ಏಕೆಂದರೆ ಅದು ಎಂದಿಗೂ ಉಚಿತವಲ್ಲ. ನಿಮ್ಮ ನಿದ್ರೆಯಾದರೂ ಸಹ, ಎಲ್ಲೋ ಯಾವಾಗಲೂ ಬಿಲ್ ಇರುತ್ತದೆ. 😴
7) ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸ್ಕೇಲಿಂಗ್ - ವಿಳಂಬ, ಥ್ರೋಪುಟ್ ಮತ್ತು ಸತ್ಯ 🏁
ಕಾರ್ಯಕ್ಷಮತೆಯ ಶ್ರುತಿ ಎಂದರೆ ನಿಯೋಜನೆಯು ಒಂದು ಕರಕುಶಲತೆಯಾಗುತ್ತದೆ. ಗುರಿ "ವೇಗ" ಅಲ್ಲ. ಗುರಿಯು ಸ್ಥಿರವಾಗಿ ಸಾಕಷ್ಟು ವೇಗವಾಗಿರುತ್ತದೆ.
ಮುಖ್ಯವಾದ ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್ಗಳು
-
p50 ಲೇಟೆನ್ಸಿ: ವಿಶಿಷ್ಟ ಬಳಕೆದಾರ ಅನುಭವ
-
p95 / p99 ಲೇಟೆನ್ಸಿ: ಕ್ರೋಧ-ಪ್ರೇರೇಪಿಸುವ ಬಾಲ (ದಿ ಟೈಲ್ ಅಟ್ ಸ್ಕೇಲ್, SRE ಪುಸ್ತಕ: ಡಿಸ್ಟ್ರಿಬ್ಯೂಟೆಡ್ ಸಿಸ್ಟಮ್ಸ್ ಮೇಲ್ವಿಚಾರಣೆ)
-
ಥ್ರೋಪುಟ್: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ವಿನಂತಿಗಳು (ಅಥವಾ ಉತ್ಪಾದಕ ಮಾದರಿಗಳಿಗೆ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಟೋಕನ್ಗಳು)
-
ದೋಷ ದರ: ಸ್ಪಷ್ಟ, ಆದರೆ ಕೆಲವೊಮ್ಮೆ ನಿರ್ಲಕ್ಷಿಸಲಾಗುತ್ತದೆ
-
ಸಂಪನ್ಮೂಲ ಬಳಕೆ: CPU, GPU, ಮೆಮೊರಿ, VRAM (SRE ಪುಸ್ತಕ: ವಿತರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಮೇಲ್ವಿಚಾರಣೆ)
ಎಳೆಯಲು ಬಳಸುವ ಸಾಮಾನ್ಯ ಲಿವರ್ಗಳು
-
ಬ್ಯಾಚಿಂಗ್
. ಥ್ರೋಪುಟ್ಗೆ ಉತ್ತಮವಾಗಿದೆ, ನೀವು ಅದನ್ನು ಅತಿಯಾಗಿ ಮಾಡಿದರೆ ವಿಳಂಬಕ್ಕೆ ಹಾನಿಯಾಗಬಹುದು. (ಟ್ರೈಟಾನ್: ಡೈನಾಮಿಕ್ ಬ್ಯಾಚಿಂಗ್) -
ಪ್ರಮಾಣೀಕರಣ
ಕಡಿಮೆ ನಿಖರತೆ (INT8 ನಂತಹ) ಅನುಮಾನವನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಸ್ಮರಣೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ನಿಖರತೆಯನ್ನು ಸ್ವಲ್ಪ ಕಡಿಮೆ ಮಾಡಬಹುದು. ಕೆಲವೊಮ್ಮೆ ಅಲ್ಲ, ಆಶ್ಚರ್ಯಕರವಾಗಿ. (ತರಬೇತಿಯ ನಂತರದ ಪ್ರಮಾಣೀಕರಣ) -
ಸಂಕಲನ / ಆಪ್ಟಿಮೈಸೇಶನ್
ONNX ರಫ್ತು, ಗ್ರಾಫ್ ಆಪ್ಟಿಮೈಜರ್ಗಳು, ಟೆನ್ಸರ್ಆರ್ಟಿ ತರಹದ ಹರಿವುಗಳು. ಶಕ್ತಿಯುತ, ಆದರೆ ಡೀಬಗ್ ಮಾಡುವುದು ಖಾರವಾಗಬಹುದು 🌶️ (ONNX, ONNX ರನ್ಟೈಮ್ ಮಾದರಿ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳು) -
ಕ್ಯಾಶಿಂಗ್
ಇನ್ಪುಟ್ಗಳು ಪುನರಾವರ್ತನೆಯಾದರೆ (ಅಥವಾ ನೀವು ಎಂಬೆಡಿಂಗ್ಗಳನ್ನು ಕ್ಯಾಶಿ ಮಾಡಬಹುದು), ನೀವು ಬಹಳಷ್ಟು ಉಳಿಸಬಹುದು. -
CPU/GPU ಬಳಕೆ, ಸರತಿಯ ಆಳ ಅಥವಾ ವಿನಂತಿ ದರದ ಮೇಲೆ ಆಟೋಸ್ಕೇಲಿಂಗ್ ಮಾಪಕ. ಸರತಿಯ ಆಳವನ್ನು ಕಡಿಮೆ ಅಂದಾಜು ಮಾಡಲಾಗಿದೆ. ( ಕುಬರ್ನೆಟ್ಸ್ HPA )
ವಿಚಿತ್ರವಾದರೂ ನಿಜವಾದ ಸಲಹೆ: ಉತ್ಪಾದನೆಯಂತಹ ಪೇಲೋಡ್ ಗಾತ್ರಗಳೊಂದಿಗೆ ಅಳೆಯಿರಿ. ಸಣ್ಣ ಪರೀಕ್ಷಾ ಪೇಲೋಡ್ಗಳು ನಿಮಗೆ ಸುಳ್ಳು ಹೇಳುತ್ತವೆ. ಅವು ನಯವಾಗಿ ನಗುತ್ತವೆ ಮತ್ತು ನಂತರ ನಿಮಗೆ ದ್ರೋಹ ಬಗೆಯುತ್ತವೆ.
8) ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ವೀಕ್ಷಣೆ - ಕುರುಡಾಗಿ ಹಾರಬೇಡಿ 👀📈
ಮಾದರಿ ಮೇಲ್ವಿಚಾರಣೆ ಕೇವಲ ಅಪ್ಟೈಮ್ ಮೇಲ್ವಿಚಾರಣೆಯಲ್ಲ. ನೀವು ತಿಳಿದುಕೊಳ್ಳಲು ಬಯಸುತ್ತೀರಿ:
-
ಸೇವೆ ಆರೋಗ್ಯಕರವಾಗಿದೆ
-
ಮಾದರಿ ವರ್ತಿಸುತ್ತಿದೆ
-
ಡೇಟಾ ಚಲಿಸುತ್ತಿದೆ
-
ಭವಿಷ್ಯವಾಣಿಗಳು ಕಡಿಮೆ ವಿಶ್ವಾಸಾರ್ಹವಾಗುತ್ತಿವೆ (ವರ್ಟೆಕ್ಸ್ AI ಮಾದರಿ ಮಾನಿಟರಿಂಗ್ ಅವಲೋಕನ, ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್ ಮಾದರಿ ಮಾನಿಟರ್)
ಏನನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಬೇಕು (ಕನಿಷ್ಠ ಕಾರ್ಯಸಾಧ್ಯವಾದ ಸೆಟ್)
ಸೇವಾ ಆರೋಗ್ಯ
-
ವಿನಂತಿ ಎಣಿಕೆ, ದೋಷ ದರ, ವಿಳಂಬ ವಿತರಣೆಗಳು (SRE ಪುಸ್ತಕ: ವಿತರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಮೇಲ್ವಿಚಾರಣೆ)
-
ಸ್ಯಾಚುರೇಶನ್ (CPU/GPU/ಮೆಮೊರಿ)
-
ಸರತಿಯ ಉದ್ದ ಮತ್ತು ಸರದಿಯಲ್ಲಿ ಉಳಿಯುವ ಸಮಯ
ಮಾದರಿ ನಡವಳಿಕೆ
-
ಇನ್ಪುಟ್ ವೈಶಿಷ್ಟ್ಯ ವಿತರಣೆಗಳು (ಮೂಲ ಅಂಕಿಅಂಶಗಳು)
-
ಎಂಬೆಡಿಂಗ್ ಮಾನದಂಡಗಳು (ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳಿಗೆ)
-
ಔಟ್ಪುಟ್ ವಿತರಣೆಗಳು (ವಿಶ್ವಾಸ, ವರ್ಗ ಮಿಶ್ರಣ, ಅಂಕಗಳ ಶ್ರೇಣಿಗಳು)
-
ಇನ್ಪುಟ್ಗಳಲ್ಲಿ ಅಸಂಗತತೆ ಪತ್ತೆ (ಕಸ ಒಳಗೆ, ಕಸ ಹೊರಗೆ)
ದತ್ತಾಂಶ ದಿಕ್ಚ್ಯುತಿ ಮತ್ತು ಪರಿಕಲ್ಪನೆ ದಿಕ್ಚ್ಯುತಿ
-
ಡ್ರಿಫ್ಟ್ ಎಚ್ಚರಿಕೆಗಳು ಕಾರ್ಯಸಾಧ್ಯವಾಗಿರಬೇಕು (ವರ್ಟೆಕ್ಸ್ AI: ಮಾನಿಟರ್ ವೈಶಿಷ್ಟ್ಯದ ಸ್ಕೇ ಮತ್ತು ಡ್ರಿಫ್ಟ್, ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್ ಮಾದರಿ ಮಾನಿಟರ್)
-
ಎಚ್ಚರಿಕೆಯ ಸ್ಪ್ಯಾಮ್ ಅನ್ನು ತಪ್ಪಿಸಿ - ಇದು ಜನರಿಗೆ ಎಲ್ಲವನ್ನೂ ನಿರ್ಲಕ್ಷಿಸಲು ಕಲಿಸುತ್ತದೆ
ಲಾಗಿಂಗ್, ಆದರೆ "ಎಲ್ಲವನ್ನೂ ಶಾಶ್ವತವಾಗಿ ಲಾಗ್ ಮಾಡಿ" ವಿಧಾನವಲ್ಲ 🪵
ಲಾಗ್:
-
ವಿನಂತಿ ಐಡಿಗಳು
-
ಮಾದರಿ ಆವೃತ್ತಿ
-
ಸ್ಕೀಮಾ ಮೌಲ್ಯೀಕರಣ ಫಲಿತಾಂಶಗಳು (OpenAPI: OpenAPI ಎಂದರೇನು?)
-
ಕನಿಷ್ಠ ರಚನಾತ್ಮಕ ಪೇಲೋಡ್ ಮೆಟಾಡೇಟಾ (ಕಚ್ಚಾ PII ಅಲ್ಲ) (NIST SP 800-122)
ಗೌಪ್ಯತೆಯ ಬಗ್ಗೆ ಜಾಗರೂಕರಾಗಿರಿ. ನಿಮ್ಮ ಲಾಗ್ಗಳು ನಿಮ್ಮ ಡೇಟಾ ಸೋರಿಕೆಯಾಗುವುದನ್ನು ನೀವು ಬಯಸುವುದಿಲ್ಲ. (NIST SP 800-122)
9) CI/CD ಮತ್ತು ರೋಲ್ಔಟ್ ತಂತ್ರಗಳು - ಮಾದರಿಗಳನ್ನು ನಿಜವಾದ ಬಿಡುಗಡೆಗಳಂತೆ ಪರಿಗಣಿಸಿ 🧱🚦
ನೀವು ವಿಶ್ವಾಸಾರ್ಹ ನಿಯೋಜನೆಗಳನ್ನು ಬಯಸಿದರೆ, ಪೈಪ್ಲೈನ್ ಅನ್ನು ನಿರ್ಮಿಸಿ. ಸರಳವಾದದ್ದು ಕೂಡ.
ಘನ ಹರಿವು
-
ಪೂರ್ವ-ಸಂಸ್ಕರಣೆ ಮತ್ತು ನಂತರದ ಸಂಸ್ಕರಣೆಗಾಗಿ ಘಟಕ ಪರೀಕ್ಷೆಗಳು
-
ತಿಳಿದಿರುವ ಇನ್ಪುಟ್-ಔಟ್ಪುಟ್ "ಗೋಲ್ಡನ್ ಸೆಟ್" ನೊಂದಿಗೆ ಏಕೀಕರಣ ಪರೀಕ್ಷೆ
-
ಲೋಡ್ ಪರೀಕ್ಷಾ ಬೇಸ್ಲೈನ್ (ಹಗುರವಾದದ್ದೂ ಸಹ)
-
ಕಲಾಕೃತಿಯನ್ನು ನಿರ್ಮಿಸಿ (ಕಂಟೇನರ್ + ಮಾದರಿ) (ಡಾಕರ್ ಅತ್ಯುತ್ತಮ ಅಭ್ಯಾಸಗಳನ್ನು ನಿರ್ಮಿಸಿ)
-
ವೇದಿಕೆಗೆ ನಿಯೋಜಿಸಿ
-
ಕ್ಯಾನರಿ ಬಿಡುಗಡೆಯು ಸಣ್ಣ ಸಂಚಾರಕ್ಕೆ (ಕ್ಯಾನರಿ ಬಿಡುಗಡೆ)
-
ಕ್ರಮೇಣ ಹೆಚ್ಚಿಸಿ
-
ಕೀ ಥ್ರೆಶೋಲ್ಡ್ಗಳಲ್ಲಿ ಸ್ವಯಂಚಾಲಿತ ರೋಲ್ಬ್ಯಾಕ್ (ನೀಲಿ-ಹಸಿರು ನಿಯೋಜನೆ)
ನಿಮ್ಮ ವಿವೇಕವನ್ನು ಉಳಿಸುವ ರೋಲ್ಔಟ್ ಮಾದರಿಗಳು
-
ಕ್ಯಾನರಿ: ಮೊದಲು 1-5% ಟ್ರಾಫಿಕ್ಗೆ ಬಿಡುಗಡೆ ಮಾಡಿ (ಕ್ಯಾನರಿ ಬಿಡುಗಡೆ)
-
ನೀಲಿ-ಹಸಿರು: ಹಳೆಯ ಆವೃತ್ತಿಯ ಪಕ್ಕದಲ್ಲಿ ಹೊಸ ಆವೃತ್ತಿಯನ್ನು ಚಲಾಯಿಸಿ, ಸಿದ್ಧವಾದಾಗ ತಿರುಗಿಸಿ (ನೀಲಿ-ಹಸಿರು ನಿಯೋಜನೆ)
-
ನೆರಳು ಪರೀಕ್ಷೆ: ಹೊಸ ಮಾದರಿಗೆ ನಿಜವಾದ ದಟ್ಟಣೆಯನ್ನು ಕಳುಹಿಸಿ ಆದರೆ ಫಲಿತಾಂಶಗಳನ್ನು ಬಳಸಬೇಡಿ (ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಉತ್ತಮ) (ಮೈಕ್ರೋಸಾಫ್ಟ್: ನೆರಳು ಪರೀಕ್ಷೆ)
ಮತ್ತು ನಿಮ್ಮ ಅಂತಿಮ ಬಿಂದುಗಳನ್ನು ಅಥವಾ ಮಾರ್ಗವನ್ನು ಮಾದರಿ ಆವೃತ್ತಿಯ ಮೂಲಕ ಆವೃತ್ತಿ ಮಾಡಿ. ಭವಿಷ್ಯದಲ್ಲಿ ನೀವು ನಿಮಗೆ ಧನ್ಯವಾದ ಹೇಳುತ್ತೀರಿ. ಪ್ರಸ್ತುತ ನೀವು ಸಹ ನಿಮಗೆ ಧನ್ಯವಾದ ಹೇಳುತ್ತೀರಿ, ಆದರೆ ಸದ್ದಿಲ್ಲದೆ.
10) ಭದ್ರತೆ, ಗೌಪ್ಯತೆ ಮತ್ತು “ದಯವಿಟ್ಟು ವಿಷಯಗಳನ್ನು ಸೋರಿಕೆ ಮಾಡಬೇಡಿ” 🔐🙃
ಭದ್ರತಾ ಸಿಬ್ಬಂದಿ ಕರೆಯದ ಅತಿಥಿಯಂತೆ ತಡವಾಗಿ ಬರುತ್ತಾರೆ. ಬೇಗ ಆಹ್ವಾನಿಸುವುದು ಉತ್ತಮ.
ಪ್ರಾಯೋಗಿಕ ಪರಿಶೀಲನಾಪಟ್ಟಿ
-
ದೃಢೀಕರಣ ಮತ್ತು ದೃಢೀಕರಣ (ಮಾದರಿ ಎಂದು ಯಾರು ಕರೆಯಬಹುದು?)
-
ದರ ಮಿತಿಗೊಳಿಸುವಿಕೆ (ದುರುಪಯೋಗ ಮತ್ತು ಆಕಸ್ಮಿಕ ಬಿರುಗಾಳಿಗಳಿಂದ ರಕ್ಷಿಸಿ) (API ಗೇಟ್ವೇ ಥ್ರೊಟ್ಲಿಂಗ್)
-
ಸೀಕ್ರೆಟ್ಸ್ ನಿರ್ವಹಣೆ (ಕೋಡ್ನಲ್ಲಿ ಕೀಗಳಿಲ್ಲ, ಕಾನ್ಫಿಗರ್ ಫೈಲ್ಗಳಲ್ಲಿಯೂ ಕೀಗಳಿಲ್ಲ...) (AWS ಸೀಕ್ರೆಟ್ಸ್ ಮ್ಯಾನೇಜರ್, ಕುಬರ್ನೆಟ್ಸ್ ಸೀಕ್ರೆಟ್ಸ್)
-
ನೆಟ್ವರ್ಕ್ ನಿಯಂತ್ರಣಗಳು (ಖಾಸಗಿ ಸಬ್ನೆಟ್ಗಳು, ಸೇವೆಯಿಂದ ಸೇವೆಗೆ ನೀತಿಗಳು)
-
ಆಡಿಟ್ ಲಾಗ್ಗಳು (ವಿಶೇಷವಾಗಿ ಸೂಕ್ಷ್ಮ ಭವಿಷ್ಯವಾಣಿಗಳಿಗೆ)
-
ಡೇಟಾ ಕನಿಷ್ಠೀಕರಣ (ನೀವು ಮಾಡಬೇಕಾದದ್ದನ್ನು ಮಾತ್ರ ಸಂಗ್ರಹಿಸಿ) (NIST SP 800-122)
ಮಾದರಿಯು ವೈಯಕ್ತಿಕ ಡೇಟಾವನ್ನು ಮುಟ್ಟಿದರೆ:
-
ಸಂಪಾದನೆ ಅಥವಾ ಹ್ಯಾಶ್ ಗುರುತಿಸುವಿಕೆಗಳು
-
ಕಚ್ಚಾ ಪೇಲೋಡ್ಗಳನ್ನು ಲಾಗಿಂಗ್ ಮಾಡುವುದನ್ನು ತಪ್ಪಿಸಿ (NIST SP 800-122)
-
ಧಾರಣ ನಿಯಮಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ
-
ಡಾಕ್ಯುಮೆಂಟ್ ಡೇಟಾ ಹರಿವು (ನೀರಸ, ಆದರೆ ರಕ್ಷಣಾತ್ಮಕ)
ಅಲ್ಲದೆ, ಉತ್ಪಾದಕ ಮಾದರಿಗಳಿಗೆ ತ್ವರಿತ ಇಂಜೆಕ್ಷನ್ ಮತ್ತು ಔಟ್ಪುಟ್ ದುರುಪಯೋಗವು ಮುಖ್ಯವಾಗಬಹುದು. ಸೇರಿಸಿ: (OWASP LLM ಅಪ್ಲಿಕೇಶನ್ಗಳಿಗಾಗಿ ಟಾಪ್ 10, OWASP: ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್)
-
ಇನ್ಪುಟ್ ಸ್ಯಾನಿಟೈಸೇಶನ್ ನಿಯಮಗಳು
-
ಸೂಕ್ತವಾದಲ್ಲಿ ಔಟ್ಪುಟ್ ಫಿಲ್ಟರಿಂಗ್
-
ಪರಿಕರ ಕರೆ ಅಥವಾ ಡೇಟಾಬೇಸ್ ಕ್ರಿಯೆಗಳಿಗಾಗಿ ಗಾರ್ಡ್ರೈಲ್ಗಳು
ಯಾವುದೇ ವ್ಯವಸ್ಥೆಯು ಪರಿಪೂರ್ಣವಲ್ಲ, ಆದರೆ ನೀವು ಅದನ್ನು ಕಡಿಮೆ ದುರ್ಬಲಗೊಳಿಸಬಹುದು.
11) ಸಾಮಾನ್ಯ ಮೋಸಗಳು (ಸಾಮಾನ್ಯ ಬಲೆಗಳು ಎಂದೂ ಕರೆಯುತ್ತಾರೆ) 🪤
ಇಲ್ಲಿವೆ ಕ್ಲಾಸಿಕ್ಗಳು:
-
ತರಬೇತಿ-ಸೇವೆಯ ಓರೆ
ಪೂರ್ವ-ಸಂಸ್ಕರಣೆಯು ತರಬೇತಿ ಮತ್ತು ಉತ್ಪಾದನೆಯ ನಡುವೆ ವ್ಯತ್ಯಾಸವನ್ನು ತೋರಿಸುತ್ತದೆ. ಇದ್ದಕ್ಕಿದ್ದಂತೆ ನಿಖರತೆ ಕಡಿಮೆಯಾಗುತ್ತದೆ ಮತ್ತು ಯಾರಿಗೂ ಏಕೆ ಎಂದು ತಿಳಿದಿಲ್ಲ. (ಟೆನ್ಸರ್ಫ್ಲೋ ಡೇಟಾ ಮೌಲ್ಯೀಕರಣ: ತರಬೇತಿ-ಸೇವೆಯ ಓರೆಯನ್ನು ಪತ್ತೆ ಮಾಡಿ) -
ಸ್ಕೀಮಾ ದೃಢೀಕರಣವಿಲ್ಲ
ಒಂದು ಅಪ್ಸ್ಟ್ರೀಮ್ ಬದಲಾವಣೆಯು ಎಲ್ಲವನ್ನೂ ಮುರಿಯುತ್ತದೆ. ಯಾವಾಗಲೂ ಜೋರಾಗಿ ಅಲ್ಲ... (JSON ಸ್ಕೀಮಾ, ಓಪನ್ಎಪಿಐ: ಓಪನ್ಎಪಿಐ ಎಂದರೇನು?) -
ಬಳಕೆದಾರರು ಕೋಪಗೊಂಡಾಗ ವಾಸಿಸುವ ಸ್ಥಳವೆಂದರೆ ಟೈಲ್ ಲೇಟೆನ್ಸಿ p99 ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸುವುದು . ( ದಿ ಟೈಲ್ ಅಟ್ ಸ್ಕೇಲ್ )
-
ಮರೆತುಬಿಡುವುದು
ನಿಮ್ಮ ಮನೆಯಲ್ಲಿ ಎಲ್ಲಾ ದೀಪಗಳನ್ನು ಆನ್ ಮಾಡಿದಂತೆ, ಆದರೆ ಬಲ್ಬ್ಗಳು ಹಣದಿಂದ ಮಾಡಲ್ಪಟ್ಟಿದೆ. -
ಮತ್ತೆ
ನಿಯೋಜಿಸುತ್ತೇವೆ" ಎಂಬುದು ಒಂದು ಯೋಜನೆಯಲ್ಲ. ಇದು ಟ್ರೆಂಚ್ ಕೋಟ್ ಧರಿಸಿದ ಭರವಸೆ. (ನೀಲಿ-ಹಸಿರು ನಿಯೋಜನೆ) -
ಅಪ್ಟೈಮ್ ಅನ್ನು ಮಾತ್ರ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು
ಮಾದರಿ ತಪ್ಪಾಗಿದ್ದರೂ ಸೇವೆಯು ಕಾರ್ಯನಿರ್ವಹಿಸಬಹುದು. ಅದು ವಾದಯೋಗ್ಯವಾಗಿ ಕೆಟ್ಟದಾಗಿದೆ. (ವರ್ಟೆಕ್ಸ್ AI: ಮಾನಿಟರ್ ವೈಶಿಷ್ಟ್ಯದ ಸ್ಕೇ ಮತ್ತು ಡ್ರಿಫ್ಟ್, ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್ ಮಾದರಿ ಮಾನಿಟರ್)
ನೀವು ಇದನ್ನು ಓದುತ್ತಾ "ಹೌದು, ನಾವು ಅವುಗಳಲ್ಲಿ ಎರಡು ಮಾಡುತ್ತೇವೆ" ಎಂದು ಯೋಚಿಸುತ್ತಿದ್ದರೆ, ಕ್ಲಬ್ಗೆ ಸ್ವಾಗತ. ಕ್ಲಬ್ನಲ್ಲಿ ತಿಂಡಿಗಳು ಮತ್ತು ಸ್ವಲ್ಪ ಒತ್ತಡವಿದೆ. 🍪
12) ಸಾರಾಂಶ - ನಿಮ್ಮ ಮನಸ್ಸನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ನಿಯೋಜಿಸುವುದು 😄✅
ನಿಯೋಜಿಸುವುದರಿಂದ AI ನಿಜವಾದ ಉತ್ಪನ್ನವಾಗುತ್ತದೆ. ಅದು ಆಕರ್ಷಕವಲ್ಲ, ಆದರೆ ವಿಶ್ವಾಸವನ್ನು ಗಳಿಸುತ್ತದೆ.
ಸಂಕ್ಷಿಪ್ತ ಸಾರಾಂಶ
-
ಮೊದಲು ನಿಮ್ಮ ನಿಯೋಜನೆ ಮಾದರಿಯನ್ನು ನಿರ್ಧರಿಸಿ (ರಿಯಲ್-ಟೈಮ್, ಬ್ಯಾಚ್, ಸ್ಟ್ರೀಮಿಂಗ್, ಎಡ್ಜ್) 🧭 (ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್ ಬ್ಯಾಚ್ ಟ್ರಾನ್ಸ್ಫಾರ್ಮ್, ಕ್ಲೌಡ್ ಡೇಟಾಫ್ಲೋ ಸ್ಟ್ರೀಮಿಂಗ್ ಮೋಡ್ಗಳು, ಲೈಟ್ಆರ್ಟಿ ಆನ್-ಡಿವೈಸ್ ಇನ್ಫರೆನ್ಸ್)
-
ಪುನರುತ್ಪಾದನೆಗಾಗಿ ಪ್ಯಾಕೇಜ್ (ಎಲ್ಲವನ್ನೂ ಆವೃತ್ತಿ ಮಾಡಿ, ಜವಾಬ್ದಾರಿಯುತವಾಗಿ ಕಂಟೇನರೈಸ್ ಮಾಡಿ) 📦 (ಡಾಕರ್ ಕಂಟೇನರ್ಗಳು)
-
ಕಾರ್ಯಕ್ಷಮತೆಯ ಅಗತ್ಯಗಳನ್ನು ಆಧರಿಸಿ ಸೇವಾ ತಂತ್ರವನ್ನು ಆರಿಸಿ (ಸರಳ API vs ಮಾದರಿ ಸರ್ವರ್) 🧰 (FastAPI, ಟ್ರೈಟಾನ್: ಡೈನಾಮಿಕ್ ಬ್ಯಾಚಿಂಗ್)
-
ಸರಾಸರಿಗಳನ್ನು ಮಾತ್ರವಲ್ಲದೆ, p95/p99 ವಿಳಂಬವನ್ನು ಅಳೆಯಿರಿ 🏁 (ದಿ ಟೈಲ್ ಅಟ್ ಸ್ಕೇಲ್)
-
ಸೇವಾ ಆರೋಗ್ಯ ಮತ್ತು ಮಾದರಿ ನಡವಳಿಕೆಗಾಗಿ ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ಸೇರಿಸಿ 👀 (SRE ಪುಸ್ತಕ: ಮಾನಿಟರಿಂಗ್ ಡಿಸ್ಟ್ರಿಬ್ಯೂಟೆಡ್ ಸಿಸ್ಟಮ್ಸ್, ವರ್ಟೆಕ್ಸ್ AI ಮಾದರಿ ಮಾನಿಟರಿಂಗ್)
-
ಕ್ಯಾನರಿ ಅಥವಾ ನೀಲಿ-ಹಸಿರು ಬಣ್ಣದಿಂದ ಸುರಕ್ಷಿತವಾಗಿ ಹೊರತೆಗೆದು, ಸುಲಭವಾಗಿ ಹಿಂತಿರುಗಿಸಿ 🚦 (ಕ್ಯಾನರಿ ಬಿಡುಗಡೆ, ನೀಲಿ-ಹಸಿರು ನಿಯೋಜನೆ)
-
ಮೊದಲ ದಿನದಿಂದಲೇ ಸುರಕ್ಷತೆ ಮತ್ತು ಗೌಪ್ಯತೆಯನ್ನು ಆನಂದಿಸಿ 🔐 (AWS ಸೀಕ್ರೆಟ್ಸ್ ಮ್ಯಾನೇಜರ್, NIST SP 800-122)
-
ನೀರಸ, ಊಹಿಸಬಹುದಾದ ಮತ್ತು ದಾಖಲಿಸಲಾದ ರೀತಿಯಲ್ಲಿ ಇರಿಸಿ - ನೀರಸವು ಸುಂದರವಾಗಿರುತ್ತದೆ 😌
ಮತ್ತು ಹೌದು, AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ನಿಯೋಜಿಸುವುದು ಎಂಬುದು ಮೊದಲಿಗೆ ಉರಿಯುತ್ತಿರುವ ಬೌಲಿಂಗ್ ಚೆಂಡುಗಳನ್ನು ಜಟಿಲಗೊಳಿಸುವಂತೆ ಭಾಸವಾಗಬಹುದು. ಆದರೆ ನಿಮ್ಮ ಪೈಪ್ಲೈನ್ ಸ್ಥಿರವಾದ ನಂತರ, ಅದು ವಿಚಿತ್ರವಾಗಿ ತೃಪ್ತಿಕರವಾಗುತ್ತದೆ. ಅಂತಿಮವಾಗಿ ಅಸ್ತವ್ಯಸ್ತಗೊಂಡ ಡ್ರಾಯರ್ ಅನ್ನು ಸಂಘಟಿಸಿದಂತೆ... ಡ್ರಾಯರ್ ಮಾತ್ರ ಉತ್ಪಾದನಾ ಸಂಚಾರವಾಗಿದೆ.
ನೈಜ-ಪ್ರಪಂಚದ ಉದಾಹರಣೆ: ಬೆಂಬಲ ಟಿಕೆಟ್ ಚಿಕಿತ್ಸೆಯ ಸರದಿ ನಿರ್ಧಾರ ಮಾದರಿಯನ್ನು ನಿಯೋಜಿಸುವುದು
ಸನ್ನಿವೇಶ
ವಾರಕ್ಕೆ 12 ಬೆಂಬಲ ಏಜೆಂಟ್ಗಳು ಮತ್ತು ಸುಮಾರು 900 ಗ್ರಾಹಕ ಟಿಕೆಟ್ಗಳನ್ನು ಹೊಂದಿರುವ ಕಾಲ್ಪನಿಕ ಆದರೆ ವಾಸ್ತವಿಕ SaaS ಕಂಪನಿಯನ್ನು ಕಲ್ಪಿಸಿಕೊಳ್ಳಿ. ಮಾನವ ಏಜೆಂಟ್ ಉತ್ತರಿಸುವ ಮೊದಲು ಒಳಬರುವ ಟಿಕೆಟ್ಗಳನ್ನು ವರ್ಗ, ತುರ್ತು ಮತ್ತು ಸೂಚಿಸಿದ ರೂಟಿಂಗ್ ಮೂಲಕ ವರ್ಗೀಕರಿಸಲು ತಂಡವು AI ಮಾದರಿಯನ್ನು ಬಯಸುತ್ತದೆ.
ಇದು ಸಂಪೂರ್ಣ ಸ್ವಯಂಚಾಲಿತ ಬೆಂಬಲ ಬಾಟ್ ಅಲ್ಲ. ಈ ಮಾದರಿಯು ಗ್ರಾಹಕರಿಗೆ ಪ್ರತ್ಯುತ್ತರಗಳನ್ನು ಕಳುಹಿಸುವುದಿಲ್ಲ. ಇದು ಟಿಕೆಟ್ಗಳನ್ನು ವೇಗವಾಗಿ ರವಾನಿಸಲು, ಅಪಾಯಕಾರಿ ಪ್ರಕರಣಗಳನ್ನು ಗುರುತಿಸಲು ಮತ್ತು ಏಜೆಂಟ್ಗಳಿಗೆ ಸ್ವಚ್ಛವಾದ ಆರಂಭಿಕ ಹಂತವನ್ನು ನೀಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ಇಲ್ಲಿ ಅತ್ಯುತ್ತಮ ನಿಯೋಜನೆ ಮಾದರಿಯು ಸಾಮಾನ್ಯವಾಗಿ ನೈಜ-ಸಮಯದ API ನಿರ್ಣಯವಾಗಿದೆ. ಪ್ರತಿ ಹೊಸ ಟಿಕೆಟ್ ಸಹಾಯವಾಣಿಯನ್ನು ಪ್ರವೇಶಿಸುತ್ತದೆ, AI ಸೇವೆಯು ಕೆಲವು ನೂರು ಮಿಲಿಸೆಕೆಂಡುಗಳಲ್ಲಿ ಅದನ್ನು ಸ್ಕೋರ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಸಹಾಯವಾಣಿಯು ಊಹಿಸಲಾದ ವರ್ಗ, ಆದ್ಯತೆ, ವಿಶ್ವಾಸಾರ್ಹ ಸ್ಕೋರ್ ಮತ್ತು ಮಾದರಿ ಆವೃತ್ತಿಯನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ.
ಸಹಾಯಕನಿಗೆ ಏನು ಬೇಕು
ಉಪಯುಕ್ತ ಇನ್ಪುಟ್ಗಳು:
ಟಿಕೆಟ್ ವಿಷಯ
ಟಿಕೆಟ್ ಮುಖ್ಯ ಭಾಗ
ಗ್ರಾಹಕ ಯೋಜನೆಯ ಪ್ರಕಾರ
ಖಾತೆ ಪ್ರದೇಶ
ಉತ್ಪನ್ನ ಪ್ರದೇಶ, ಈಗಾಗಲೇ ತಿಳಿದಿದ್ದರೆ
ಕಳೆದ 30 ದಿನಗಳಲ್ಲಿ ಹಿಂದಿನ ಟಿಕೆಟ್ ಎಣಿಕೆ
ಉಪಯುಕ್ತ ನಿಯಮಗಳು:
ಗ್ರಾಹಕರ ಕಚ್ಚಾ ಸಂದೇಶಗಳು ವೈಯಕ್ತಿಕ ಡೇಟಾವನ್ನು ಹೊಂದಿದ್ದರೆ ಅವುಗಳನ್ನು ಎಂದಿಗೂ ಲಾಗ್ ಮಾಡಬೇಡಿ
ಬಿಲ್ಲಿಂಗ್ ವಿವಾದಗಳು, ಕಾನೂನು ಬೆದರಿಕೆಗಳು, ಖಾತೆ ಅಳಿಸುವಿಕೆ ವಿನಂತಿಗಳು ಮತ್ತು ಭದ್ರತಾ ಸಮಸ್ಯೆಗಳನ್ನು ಮಾನವ ಪರಿಶೀಲನೆಗೆ ಕಳುಹಿಸಿ
ವಿಶ್ವಾಸವು 0.85 ನಂತಹ ವ್ಯಾಖ್ಯಾನಿಸಲಾದ ಮಿತಿಗಿಂತ ಹೆಚ್ಚಿರುವಾಗ ಮಾತ್ರ ಸ್ವಯಂ-ಮಾರ್ಗ
ಪ್ರತಿ ಭವಿಷ್ಯವಾಣಿಯೊಂದಿಗೆ ಮಾದರಿ ಆವೃತ್ತಿಯನ್ನು ಸಂಗ್ರಹಿಸಿ
ಮಾದರಿ ಸೇವೆ ನಿಧಾನವಾಗಿದ್ದರೆ ಅಥವಾ ಲಭ್ಯವಿಲ್ಲದಿದ್ದರೆ ಹಸ್ತಚಾಲಿತ ಚಿಕಿತ್ಸೆಯ ಸರದಿ ನಿರ್ಧಾರಕ್ಕೆ ಹಿಂತಿರುಗಿ
ಉದಾಹರಣೆ ಸೂಚನೆ
ನೀವು ಬೆಂಬಲ ಟಿಕೆಟ್ ಚಿಕಿತ್ಸೆಯ ಸರದಿ ನಿರ್ಧಾರ ಸಹಾಯಕರು. ಪ್ರತಿ ಟಿಕೆಟ್ ಅನ್ನು ಒಂದು ವರ್ಗಕ್ಕೆ ವರ್ಗೀಕರಿಸಿ: ಬಿಲ್ಲಿಂಗ್, ಲಾಗಿನ್, ದೋಷ ವರದಿ, ವೈಶಿಷ್ಟ್ಯ ವಿನಂತಿ, ಖಾತೆ ರದ್ದತಿ, ಭದ್ರತೆ ಅಥವಾ ಇತರೆ.
ವರ್ಗ, ತುರ್ತು ಮಟ್ಟ, ವಿಶ್ವಾಸಾರ್ಹ ಸ್ಕೋರ್, ಸಣ್ಣ ಕಾರಣ ಮತ್ತು ಶಿಫಾರಸು ಮಾಡಿದ ಬೆಂಬಲ ಸರತಿಯನ್ನು ಹಿಂತಿರುಗಿಸಿ.
ಕಾಣೆಯಾದ ಸಂಗತಿಗಳನ್ನು ಕಲ್ಪಿಸಬೇಡಿ. ಟಿಕೆಟ್ನಲ್ಲಿ ಕಾನೂನು, ಭದ್ರತೆ, ಪಾವತಿ ವೈಫಲ್ಯ, ಖಾತೆ ಅಳಿಸುವಿಕೆ ಅಥವಾ ಗ್ರಾಹಕರ ಕೋಪದ ಭಾಷೆ ಇದ್ದರೆ, ಅದನ್ನು ಮಾನವ ಪರಿಶೀಲನೆಗಾಗಿ ಗುರುತಿಸಿ.
ವಿಶ್ವಾಸಾರ್ಹತೆ 0.85 ಕ್ಕಿಂತ ಕಡಿಮೆಯಿದ್ದರೆ, ಶಿಫಾರಸು ಮಾಡಲಾದ ಸರತಿಯಾಗಿ "ಹಸ್ತಚಾಲಿತ ವಿಮರ್ಶೆ" ಅನ್ನು ಹಿಂತಿರುಗಿಸಿ.
ಉದಾಹರಣೆ ಔಟ್ಪುಟ್
ದುರ್ಬಲ ಔಟ್ಪುಟ್:
ವರ್ಗ: ದೋಷ
ಆದ್ಯತೆ: ಹೆಚ್ಚು
ಬೆಂಬಲಕ್ಕೆ ಕಳುಹಿಸಿ.
ಉತ್ತಮ ಔಟ್ಪುಟ್:
ವರ್ಗ: ಲಾಗಿನ್
ತುರ್ತು: ಮಧ್ಯಮ
ವಿಶ್ವಾಸ: 0.91
ಶಿಫಾರಸು ಮಾಡಲಾದ ಸರದಿ: ಖಾತೆ ಪ್ರವೇಶ
ಕಾರಣ: ಗ್ರಾಹಕರು ತಮ್ಮ ಪಾಸ್ವರ್ಡ್ ಅನ್ನು ಮರುಹೊಂದಿಸಿದ ನಂತರ ತಮ್ಮ ಖಾತೆಯನ್ನು ಪ್ರವೇಶಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಯಾವುದೇ ಭದ್ರತಾ ಬೆದರಿಕೆ ಅಥವಾ ಪಾವತಿ ಸಮಸ್ಯೆಯನ್ನು ಉಲ್ಲೇಖಿಸಲಾಗಿಲ್ಲ.
ಮಾನವ ವಿಮರ್ಶೆ ಅಗತ್ಯವಿಲ್ಲ: ಇಲ್ಲ
ಮಾದರಿ ಆವೃತ್ತಿ: ಟಿಕೆಟ್-ಟ್ರೈಜ್-v1.3
ಉತ್ತಮ ಔಟ್ಪುಟ್ ಅನ್ನು ಆಡಿಟ್ ಮಾಡುವುದು ಸುಲಭ ಏಕೆಂದರೆ ಅದು ವಿಶ್ವಾಸಾರ್ಹ ಸ್ಕೋರ್, ರೂಟಿಂಗ್ ನಿರ್ಧಾರ, ಕಾರಣ ಮತ್ತು ಮಾದರಿ ಆವೃತ್ತಿಯನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ.
ಅದನ್ನು ಪರೀಕ್ಷಿಸುವುದು ಹೇಗೆ
ಮಾದರಿಗೆ ಲೈವ್ ಟ್ರಾಫಿಕ್ ಕಳುಹಿಸುವ ಮೊದಲು, ನಿಜವಾದ ಆದರೆ ಅನಾಮಧೇಯಗೊಳಿಸಿದ ಟಿಕೆಟ್ಗಳ ಸಣ್ಣ "ಗೋಲ್ಡನ್ ಸೆಟ್" ಅನ್ನು ರಚಿಸಿ.
ಸರಳ ಪರೀಕ್ಷಾ ಸೆಟ್ ಒಳಗೊಂಡಿರಬಹುದು:
50 ಬಿಲ್ಲಿಂಗ್ ಟಿಕೆಟ್ಗಳು
50 ಲಾಗಿನ್ ಟಿಕೆಟ್ಗಳು
50 ದೋಷ ವರದಿಗಳು
30 ರದ್ದತಿ ವಿನಂತಿಗಳು
20 ಭದ್ರತಾ ಸೂಕ್ಷ್ಮ ಟಿಕೆಟ್ಗಳು
20 ಗೊಂದಲಮಯ ಅಥವಾ ಮಿಶ್ರ ವರ್ಗದ ಟಿಕೆಟ್ಗಳು
ನಂತರ ಪರಿಶೀಲಿಸಿ:
ಮಾದರಿಯು ಮಾನವ ವಿಮರ್ಶಕರಂತೆಯೇ ಅದೇ ವರ್ಗವನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆಯೇ?
ಇದು ಭದ್ರತೆ, ಕಾನೂನು ಮತ್ತು ರದ್ದತಿ ಟಿಕೆಟ್ಗಳನ್ನು ಸರಿಯಾಗಿ ಹೆಚ್ಚಿಸುತ್ತದೆಯೇ?
ಆತ್ಮವಿಶ್ವಾಸ ಕಡಿಮೆಯಾದಾಗ ಅದು "ಹಸ್ತಚಾಲಿತ ವಿಮರ್ಶೆ"ಯನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆಯೇ?
p95 ಲೇಟೆನ್ಸಿ ತಂಡದ ಗುರಿಯೊಳಗೆ ಉಳಿಯುತ್ತದೆಯೇ?
ಮಾದರಿ ಲಭ್ಯವಿಲ್ಲದಿದ್ದಾಗ ಸೇವೆ ಸುರಕ್ಷಿತವಾಗಿ ವಿಫಲಗೊಳ್ಳುತ್ತದೆಯೇ?
ಬಿಡುಗಡೆಗಾಗಿ, ಮೊದಲು ನೆರಳು ಪರೀಕ್ಷೆಯನ್ನು ಬಳಸಿ. ಹೊಸ ಮಾದರಿಗೆ ನಿಜವಾದ ಟಿಕೆಟ್ಗಳನ್ನು ಕಳುಹಿಸಿ, ಆದರೆ ಇನ್ನೂ ಅದರ ಭವಿಷ್ಯವಾಣಿಗಳನ್ನು ಬಳಸಬೇಡಿ. ಕೆಲವು ದಿನಗಳವರೆಗೆ ಅದರ ಔಟ್ಪುಟ್ ಅನ್ನು ಸಾಮಾನ್ಯ ಮಾನವ ಚಿಕಿತ್ಸೆಯ ಸರದಿ ನಿರ್ಧಾರದೊಂದಿಗೆ ಹೋಲಿಕೆ ಮಾಡಿ. ಫಲಿತಾಂಶಗಳು ಸ್ಥಿರವಾಗಿದ್ದರೆ, 5% ಕ್ಯಾನರಿ ಬಿಡುಗಡೆಗೆ, ನಂತರ 25%, ನಂತರ 100% ಗೆ ಸರಿಸಿ.
ಫಲಿತಾಂಶ
ಕೆಲಸದ ಹರಿವನ್ನು ಬಳಸುವ ಮೊದಲು ಮತ್ತು ನಂತರದ 100 ಮಾದರಿ ಟಿಕೆಟ್ಗಳ ಸಮಯವನ್ನು ಆಧರಿಸಿದ ವಿವರಣಾತ್ಮಕ ಫಲಿತಾಂಶ:
ಹಸ್ತಚಾಲಿತ ಚಿಕಿತ್ಸೆಯ ಸರದಿ ನಿರ್ಧಾರ ಸಮಯವು ಪ್ರತಿ ಟಿಕೆಟ್ಗೆ 6 ನಿಮಿಷಗಳಿಂದ 1 ನಿಮಿಷ 40 ಸೆಕೆಂಡುಗಳಿಗೆ ಇಳಿಯಿತು
ತಂಡವು 100 ಟಿಕೆಟ್ಗಳಲ್ಲಿ ಸುಮಾರು 7.2 ಗಂಟೆಗಳನ್ನು ಉಳಿಸಿತು
220-ಟಿಕೆಟ್ ಗೋಲ್ಡನ್ ಸೆಟ್ನಲ್ಲಿ ಮಾನವ ವಿಮರ್ಶಕರೊಂದಿಗಿನ ವರ್ಗ ಒಪ್ಪಂದವು 87% ಆಗಿತ್ತು
20 ಭದ್ರತಾ-ಸೂಕ್ಷ್ಮ ಪರೀಕ್ಷಾ ಟಿಕೆಟ್ಗಳಲ್ಲಿ 100% ಅನ್ನು ಮಾನವ ಪರಿಶೀಲನೆಗೆ ಒಳಪಡಿಸಲಾಗಿದೆ
ಉತ್ಪಾದನೆಯಂತಹ ಪೇಲೋಡ್ಗಳಲ್ಲಿ p95 ಲೇಟೆನ್ಸಿ 480 ms ಆಗಿತ್ತು
p99 ಲೇಟೆನ್ಸಿ 910 ms ಆಗಿತ್ತು
ಕ್ಯಾನರಿ ಬಿಡುಗಡೆಯ ಸಮಯದಲ್ಲಿ ಹಳೆಯ ಮಾದರಿಯ ಎಂಡ್ಪಾಯಿಂಟ್ ಲೈವ್ ಆಗಿ ಉಳಿದಿದ್ದರಿಂದ ರೋಲ್ಬ್ಯಾಕ್ ಸಮಯ 2 ನಿಮಿಷಗಳಿಗಿಂತ ಕಡಿಮೆ ಇತ್ತು
ಈ ಸಂಖ್ಯೆಗಳು ಸಾರ್ವತ್ರಿಕ ಮಾನದಂಡಗಳಲ್ಲ. ಅವು ಒಂದು ತಂಡವು ಚಿಕಿತ್ಸೆಯ ಸರದಿ ನಿರ್ಧಾರ ಕಾರ್ಯಗಳನ್ನು ಸಮಯ ನಿಗದಿ ಮಾಡುವ ಮೂಲಕ, ಲೇಬಲ್ ಮಾಡಲಾದ ಪರೀಕ್ಷಾ ಸೆಟ್ನೊಂದಿಗೆ ಭವಿಷ್ಯವಾಣಿಗಳನ್ನು ಹೋಲಿಸುವ ಮೂಲಕ ಮತ್ತು ವಾಸ್ತವಿಕ ಟಿಕೆಟ್ ಪೇಲೋಡ್ಗಳೊಂದಿಗೆ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ಲೋಡ್-ಟೆಸ್ಟಿಂಗ್ ಮಾಡುವ ಮೂಲಕ ಪುನರುತ್ಪಾದಿಸಬಹುದಾದ ಉದಾಹರಣೆ ಅಳತೆಗಳಾಗಿವೆ.
ಏನು ತಪ್ಪಾಗಬಹುದು?
ಮಾದರಿಯನ್ನು ಅತಿಯಾಗಿ ನಂಬುವುದು ದೊಡ್ಡ ಅಪಾಯ. "ಕಡಿಮೆ ತುರ್ತು" ಎಂದು ಗುರುತಿಸಲಾದ ಟಿಕೆಟ್ನಲ್ಲಿ ಗಂಭೀರ ಭದ್ರತಾ ಸಮಸ್ಯೆ ಇರಬಹುದು, ವಿಶೇಷವಾಗಿ ಗ್ರಾಹಕರು ಅಸ್ಪಷ್ಟವಾಗಿ ಬರೆದರೆ.
ಇತರ ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು:
ನಿಜವಾದ ಗ್ರಾಹಕರ ಟಿಕೆಟ್ಗಳಿಗೆ ಹೊಂದಿಕೆಯಾಗದ ನಯಗೊಳಿಸಿದ ಪರೀಕ್ಷಾ ಟಿಕೆಟ್ಗಳನ್ನು ಬಳಸುವುದು
ವೈಯಕ್ತಿಕ ಡೇಟಾದೊಂದಿಗೆ ಪೂರ್ಣ ಗ್ರಾಹಕ ಸಂದೇಶಗಳನ್ನು ಲಾಗಿಂಗ್ ಮಾಡುವುದು
ಪ್ರತಿ ಭವಿಷ್ಯವಾಣಿಯೊಂದಿಗೆ ಮಾದರಿ ಆವೃತ್ತಿಯನ್ನು ಸಂಗ್ರಹಿಸುತ್ತಿಲ್ಲ
ಆತ್ಮವಿಶ್ವಾಸ ಕಡಿಮೆ ಇದ್ದರೂ ಸಹ, ಪ್ರತಿ ಟಿಕೆಟ್ ಅನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ರೂಟಿಂಗ್ ಮಾಡುವುದು
ಹಸ್ತಚಾಲಿತ ಫಾಲ್ಬ್ಯಾಕ್ ಕ್ಯೂ ಅನ್ನು ಮರೆತುಬಿಡಲಾಗುತ್ತಿದೆ
p95 ಮತ್ತು p99 ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸಿ ಸರಾಸರಿ ಸುಪ್ತತೆಯನ್ನು ಅಳೆಯುವುದು
ಬೆಂಬಲ ತಂಡವು ತನ್ನ ಸರತಿ ಸಾಲುಗಳನ್ನು ಬದಲಾಯಿಸಿದ ನಂತರ ಹಳೆಯ ವಿಭಾಗಗಳು ಮಾದರಿಯಲ್ಲಿ ಉಳಿಯಲು ಅವಕಾಶ ನೀಡುವುದು
ಪ್ರಾಯೋಗಿಕ ತೀರ್ಮಾನ
ಉತ್ತಮ AI ನಿಯೋಜನೆಯು ದೊಡ್ಡದಾಗಿ ಪ್ರಾರಂಭಿಸಬೇಕಾಗಿಲ್ಲ. ಒಂದು ಕಿರಿದಾದ ಕೆಲಸದ ಹರಿವು, ಒಂದು ಸ್ಪಷ್ಟ ಇಂಟರ್ಫೇಸ್, ಒಂದು ಗೋಲ್ಡನ್ ಟೆಸ್ಟ್ ಸೆಟ್ ಮತ್ತು ಒಂದು ಸುರಕ್ಷಿತ ರೋಲ್ಬ್ಯಾಕ್ ಮಾರ್ಗದೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ. ಮಾದರಿಯು ಅಪಾಯವನ್ನು ಮರೆಮಾಡದೆ ಸಮಯವನ್ನು ಉಳಿಸಿದರೆ, ನೀವು ಸ್ಕೇಲಿಂಗ್ಗೆ ಯೋಗ್ಯವಾದ ನಿಯೋಜನೆಯನ್ನು ಹೊಂದಿರುತ್ತೀರಿ.
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
ಉತ್ಪಾದನೆಯಲ್ಲಿ AI ಮಾದರಿಯನ್ನು ನಿಯೋಜಿಸುವುದರ ಅರ್ಥವೇನು?
AI ಮಾದರಿಯನ್ನು ನಿಯೋಜಿಸುವುದು ಸಾಮಾನ್ಯವಾಗಿ ಭವಿಷ್ಯ API ಅನ್ನು ಬಹಿರಂಗಪಡಿಸುವುದಕ್ಕಿಂತ ಹೆಚ್ಚಿನದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ಇದು ಮಾದರಿ ಮತ್ತು ಅದರ ಅವಲಂಬನೆಗಳನ್ನು ಪ್ಯಾಕೇಜಿಂಗ್ ಮಾಡುವುದು, ಸರ್ವಿಂಗ್ ಪ್ಯಾಟರ್ನ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು (ನೈಜ-ಸಮಯ, ಬ್ಯಾಚ್, ಸ್ಟ್ರೀಮಿಂಗ್ ಅಥವಾ ಅಂಚು), ವಿಶ್ವಾಸಾರ್ಹತೆಯೊಂದಿಗೆ ಸ್ಕೇಲಿಂಗ್, ಆರೋಗ್ಯ ಮತ್ತು ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು ಮತ್ತು ಸುರಕ್ಷಿತ ರೋಲ್ಔಟ್ ಮತ್ತು ರೋಲ್ಬ್ಯಾಕ್ ಮಾರ್ಗಗಳನ್ನು ಹೊಂದಿಸುವುದನ್ನು ಒಳಗೊಂಡಿದೆ. ಘನ ನಿಯೋಜನೆಯು ಲೋಡ್ ಅಡಿಯಲ್ಲಿ ಊಹಿಸಬಹುದಾದಷ್ಟು ಸ್ಥಿರವಾಗಿರುತ್ತದೆ ಮತ್ತು ಏನಾದರೂ ತಪ್ಪಾದಾಗ ರೋಗನಿರ್ಣಯ ಮಾಡಬಹುದಾಗಿದೆ.
ನೈಜ-ಸಮಯ, ಬ್ಯಾಚ್, ಸ್ಟ್ರೀಮಿಂಗ್ ಅಥವಾ ಅಂಚಿನ ನಿಯೋಜನೆಯ ನಡುವೆ ಹೇಗೆ ಆಯ್ಕೆ ಮಾಡುವುದು
ಮುನ್ಸೂಚನೆಗಳು ಯಾವಾಗ ಬೇಕಾಗುತ್ತವೆ ಮತ್ತು ನೀವು ಯಾವ ನಿರ್ಬಂಧಗಳ ಅಡಿಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತೀರಿ ಎಂಬುದರ ಆಧಾರದ ಮೇಲೆ ನಿಯೋಜನೆ ಮಾದರಿಯನ್ನು ಆರಿಸಿ. ನೈಜ-ಸಮಯದ API ಗಳು ಸುಪ್ತತೆ ಮುಖ್ಯವಾದ ಸಂವಾದಾತ್ಮಕ ಅನುಭವಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳುತ್ತವೆ. ವಿಳಂಬಗಳು ಸ್ವೀಕಾರಾರ್ಹವಾದಾಗ ಮತ್ತು ವೆಚ್ಚ ದಕ್ಷತೆಗೆ ಕಾರಣವಾದಾಗ ಬ್ಯಾಚ್ ಸ್ಕೋರಿಂಗ್ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಸ್ಟ್ರೀಮಿಂಗ್ ನಿರಂತರ ಈವೆಂಟ್ ಪ್ರಕ್ರಿಯೆಗೆ ಸೂಕ್ತವಾಗಿದೆ, ವಿಶೇಷವಾಗಿ ವಿತರಣಾ ಶಬ್ದಾರ್ಥಗಳು ಮುಳ್ಳಾಗುವಾಗ. ಎಡ್ಜ್ ನಿಯೋಜನೆಯು ಆಫ್ಲೈನ್ ಕಾರ್ಯಾಚರಣೆ, ಗೌಪ್ಯತೆ ಅಥವಾ ಅಲ್ಟ್ರಾ-ಲೋ-ಲೇಟೆನ್ಸಿ ಅವಶ್ಯಕತೆಗಳಿಗೆ ಸೂಕ್ತವಾಗಿದೆ, ಆದರೂ ನವೀಕರಣಗಳು ಮತ್ತು ಹಾರ್ಡ್ವೇರ್ ವ್ಯತ್ಯಾಸವನ್ನು ನಿರ್ವಹಿಸುವುದು ಕಷ್ಟವಾಗುತ್ತದೆ.
"ನನ್ನ ಲ್ಯಾಪ್ಟಾಪ್ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ" ನಿಯೋಜನೆ ವೈಫಲ್ಯಗಳನ್ನು ತಪ್ಪಿಸಲು ಯಾವ ಆವೃತ್ತಿಯನ್ನು ಮಾಡಬೇಕು
ಮಾದರಿ ತೂಕಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಆವೃತ್ತಿ. ಸಾಮಾನ್ಯವಾಗಿ, ನೀವು ಆವೃತ್ತಿಗೊಳಿಸಿದ ಮಾದರಿ ಕಲಾಕೃತಿ (ಟೋಕನೈಜರ್ಗಳು ಅಥವಾ ಲೇಬಲ್ ನಕ್ಷೆಗಳು ಸೇರಿದಂತೆ), ಪೂರ್ವ-ಸಂಸ್ಕರಣೆ ಮತ್ತು ವೈಶಿಷ್ಟ್ಯ ತರ್ಕ, ಅನುಮಾನ ಕೋಡ್ ಮತ್ತು ಪೂರ್ಣ ರನ್ಟೈಮ್ ಪರಿಸರ (ಪೈಥಾನ್/CUDA/ಸಿಸ್ಟಮ್ ಲೈಬ್ರರಿಗಳು) ಬಯಸುತ್ತೀರಿ. ಮಾದರಿಯನ್ನು ಟ್ಯಾಗ್ ಮಾಡಲಾದ ಆವೃತ್ತಿಗಳು ಮತ್ತು ಸ್ಕೀಮಾ ನಿರೀಕ್ಷೆಗಳು, ಮೌಲ್ಯಮಾಪನ ಟಿಪ್ಪಣಿಗಳು ಮತ್ತು ತಿಳಿದಿರುವ ಮಿತಿಗಳನ್ನು ವಿವರಿಸುವ ಹಗುರವಾದ ಮೆಟಾಡೇಟಾದೊಂದಿಗೆ ಬಿಡುಗಡೆ ಕಲಾಕೃತಿಯಾಗಿ ಪರಿಗಣಿಸಿ.
ಸರಳವಾದ FastAPI-ಶೈಲಿಯ ಸೇವೆಯೊಂದಿಗೆ ನಿಯೋಜಿಸಬೇಕೆ ಅಥವಾ ಮೀಸಲಾದ ಮಾದರಿ ಸರ್ವರ್ನೊಂದಿಗೆ ನಿಯೋಜಿಸಬೇಕೆ
ರೂಟಿಂಗ್, ದೃಢೀಕರಣ ಮತ್ತು ಏಕೀಕರಣದ ಮೇಲೆ ನೀವು ನಿಯಂತ್ರಣವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುವುದರಿಂದ ಸರಳವಾದ ಅಪ್ಲಿಕೇಶನ್ ಸರ್ವರ್ (FastAPI-ಶೈಲಿಯ ವಿಧಾನ) ಆರಂಭಿಕ ಉತ್ಪನ್ನಗಳು ಅಥವಾ ನೇರ ಮಾದರಿಗಳಿಗೆ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಮಾದರಿ ಸರ್ವರ್ (TorchServe ಅಥವಾ NVIDIA ಟ್ರೈಟಾನ್-ಶೈಲಿ) ಬಲವಾದ ಬ್ಯಾಚಿಂಗ್, ಏಕಕಾಲಿಕತೆ ಮತ್ತು GPU ದಕ್ಷತೆಯನ್ನು ಬಾಕ್ಸ್ ಹೊರಗೆ ಒದಗಿಸಬಹುದು. ಅನೇಕ ತಂಡಗಳು ಹೈಬ್ರಿಡ್ ಅನ್ನು ಆರಿಸಿಕೊಳ್ಳುತ್ತವೆ: ನಿರ್ಣಯಕ್ಕಾಗಿ ಮಾದರಿ ಸರ್ವರ್ ಜೊತೆಗೆ ದೃಢೀಕರಣ, ವಿನಂತಿ ರೂಪಿಸುವಿಕೆ ಮತ್ತು ದರ ಮಿತಿಗಳಿಗಾಗಿ ತೆಳುವಾದ API ಪದರ.
ನಿಖರತೆಯನ್ನು ಮುರಿಯದೆ ಸುಪ್ತತೆ ಮತ್ತು ಥ್ರೋಪುಟ್ ಅನ್ನು ಹೇಗೆ ಸುಧಾರಿಸುವುದು
ಉತ್ಪಾದನಾ-ರೀತಿಯ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ವಾಸ್ತವಿಕ ಪೇಲೋಡ್ಗಳೊಂದಿಗೆ p95/p99 ಲೇಟೆನ್ಸಿಯನ್ನು ಅಳೆಯುವ ಮೂಲಕ ಪ್ರಾರಂಭಿಸಿ, ಏಕೆಂದರೆ ಸಣ್ಣ ಪರೀಕ್ಷೆಗಳು ದಾರಿ ತಪ್ಪಿಸಬಹುದು. ಸಾಮಾನ್ಯ ಲಿವರ್ಗಳಲ್ಲಿ ಬ್ಯಾಚಿಂಗ್ (ಉತ್ತಮ ಥ್ರೋಪುಟ್, ಸಂಭಾವ್ಯವಾಗಿ ಕೆಟ್ಟ ಲೇಟೆನ್ಸಿ), ಕ್ವಾಂಟೀಕರಣ (ಸಣ್ಣ ಮತ್ತು ವೇಗ, ಕೆಲವೊಮ್ಮೆ ಸಾಧಾರಣ ನಿಖರತೆಯ ಟ್ರೇಡ್-ಆಫ್ಗಳೊಂದಿಗೆ), ಸಂಕಲನ ಮತ್ತು ಆಪ್ಟಿಮೈಸೇಶನ್ ಹರಿವುಗಳು (ONNX/TensorRT-ತರಹ), ಮತ್ತು ಪುನರಾವರ್ತಿತ ಇನ್ಪುಟ್ಗಳು ಅಥವಾ ಎಂಬೆಡಿಂಗ್ಗಳನ್ನು ಕ್ಯಾಶಿಂಗ್ ಮಾಡುವುದು ಸೇರಿವೆ. ಕ್ಯೂ ಡೆಪ್ತ್ ಅನ್ನು ಆಧರಿಸಿ ಆಟೋಸ್ಕೇಲಿಂಗ್ ಮಾಡುವುದರಿಂದ ಟೈಲ್ ಲೇಟೆನ್ಸಿ ಮೇಲಕ್ಕೆ ತೆವಳದಂತೆ ತಡೆಯಬಹುದು.
"ಅಂತ್ಯಬಿಂದು ಮುಗಿದಿದೆ" ಎಂಬುದನ್ನು ಮೀರಿ ಯಾವ ಮೇಲ್ವಿಚಾರಣೆ ಅಗತ್ಯವಿದೆ?
ಸೇವೆಯು ಆರೋಗ್ಯಕರವಾಗಿ ಕಾಣಬಹುದಾದರೂ, ಮುನ್ಸೂಚನೆಯ ಗುಣಮಟ್ಟ ಕ್ಷೀಣಿಸುತ್ತಿರುವಾಗ ಅಪ್ಟೈಮ್ ಸಾಕಾಗುವುದಿಲ್ಲ. ಕನಿಷ್ಠ ಪಕ್ಷ, ವಿನಂತಿಯ ಪರಿಮಾಣ, ದೋಷ ದರ ಮತ್ತು ಲೇಟೆನ್ಸಿ ವಿತರಣೆಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ, ಜೊತೆಗೆ CPU/GPU/ಮೆಮೊರಿ ಮತ್ತು ಕ್ಯೂ ಸಮಯದಂತಹ ಸ್ಯಾಚುರೇಶನ್ ಸಿಗ್ನಲ್ಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ. ಮಾದರಿ ನಡವಳಿಕೆಗಾಗಿ, ಮೂಲ ಅಸಂಗತತೆ ಸಂಕೇತಗಳ ಜೊತೆಗೆ ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ವಿತರಣೆಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ. ಗದ್ದಲದ ಎಚ್ಚರಿಕೆಗಳ ಬದಲಿಗೆ ಕ್ರಿಯೆಯನ್ನು ಪ್ರಚೋದಿಸುವ ಡ್ರಿಫ್ಟ್ ಪರಿಶೀಲನೆಗಳು ಮತ್ತು ಲಾಗ್ ವಿನಂತಿ ID ಗಳು, ಮಾದರಿ ಆವೃತ್ತಿಗಳು ಮತ್ತು ಸ್ಕೀಮಾ ಮೌಲ್ಯೀಕರಣ ಫಲಿತಾಂಶಗಳನ್ನು ಸೇರಿಸಿ.
ಹೊಸ ಮಾದರಿ ಆವೃತ್ತಿಗಳನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ಹೊರತರುವುದು ಮತ್ತು ವೇಗವಾಗಿ ಚೇತರಿಸಿಕೊಳ್ಳುವುದು ಹೇಗೆ
ಮಾದರಿಗಳನ್ನು ಪೂರ್ಣ ಬಿಡುಗಡೆಗಳಂತೆ ಪರಿಗಣಿಸಿ, ಪೂರ್ವ-ಸಂಸ್ಕರಣೆ ಮತ್ತು ನಂತರದ ಸಂಸ್ಕರಣೆಯನ್ನು ಪರೀಕ್ಷಿಸುವ, "ಗೋಲ್ಡನ್ ಸೆಟ್" ವಿರುದ್ಧ ಏಕೀಕರಣ ಪರಿಶೀಲನೆಗಳನ್ನು ನಡೆಸುವ ಮತ್ತು ಲೋಡ್ ಬೇಸ್ಲೈನ್ ಅನ್ನು ಸ್ಥಾಪಿಸುವ CI/CD ಪೈಪ್ಲೈನ್ನೊಂದಿಗೆ. ರೋಲ್ಔಟ್ಗಳಿಗಾಗಿ, ಕ್ಯಾನರಿ ಕ್ರಮೇಣ ರ್ಯಾಂಪ್ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುತ್ತದೆ, ಆದರೆ ನೀಲಿ-ಹಸಿರು ತಕ್ಷಣದ ಫಾಲ್ಬ್ಯಾಕ್ಗಾಗಿ ಹಳೆಯ ಆವೃತ್ತಿಯನ್ನು ಲೈವ್ ಆಗಿ ಇರಿಸುತ್ತದೆ. ನೆರಳು ಪರೀಕ್ಷೆಯು ಬಳಕೆದಾರರ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರದೆ ನೈಜ ಟ್ರಾಫಿಕ್ನಲ್ಲಿ ಹೊಸ ಮಾದರಿಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ರೋಲ್ಬ್ಯಾಕ್ ಮೊದಲ ದರ್ಜೆಯ ಕಾರ್ಯವಿಧಾನವಾಗಿರಬೇಕು, ನಂತರದ ಚಿಂತನೆಯಲ್ಲ.
AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ನಿಯೋಜಿಸುವುದು ಎಂಬುದನ್ನು ಕಲಿಯುವಾಗ ಸಾಮಾನ್ಯವಾಗಿ ಎದುರಾಗುವ ತೊಂದರೆಗಳು
ತರಬೇತಿ-ಸೇವೆಯ ಓರೆತನವು ಒಂದು ಶ್ರೇಷ್ಠ ಪ್ರಕರಣವಾಗಿದೆ: ಪೂರ್ವ-ಸಂಸ್ಕರಣೆಯು ತರಬೇತಿ ಮತ್ತು ಉತ್ಪಾದನೆಯ ನಡುವೆ ವ್ಯತ್ಯಾಸವನ್ನು ತೋರಿಸುತ್ತದೆ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯು ಸದ್ದಿಲ್ಲದೆ ಕುಸಿಯುತ್ತದೆ. ಮತ್ತೊಂದು ಆಗಾಗ್ಗೆ ಸಮಸ್ಯೆಯೆಂದರೆ ಸ್ಕೀಮಾ ಮೌಲ್ಯೀಕರಣವನ್ನು ಕಳೆದುಕೊಳ್ಳುವುದು, ಅಲ್ಲಿ ಅಪ್ಸ್ಟ್ರೀಮ್ ಬದಲಾವಣೆಯು ಸೂಕ್ಷ್ಮ ರೀತಿಯಲ್ಲಿ ಇನ್ಪುಟ್ಗಳನ್ನು ಒಡೆಯುತ್ತದೆ. ತಂಡಗಳು ಟೈಲ್ ಲೇಟೆನ್ಸಿ ಮತ್ತು ಸರಾಸರಿಗಳ ಮೇಲೆ ಅತಿಯಾಗಿ ಗಮನಹರಿಸುತ್ತವೆ, ವೆಚ್ಚವನ್ನು ಕಡೆಗಣಿಸುತ್ತವೆ (ಐಡಲ್ GPUಗಳು ವೇಗವಾಗಿ ಸೇರಿಸುತ್ತವೆ), ಮತ್ತು ರೋಲ್ಬ್ಯಾಕ್ ಯೋಜನೆಯನ್ನು ಬಿಟ್ಟುಬಿಡುತ್ತವೆ. ಅಪ್ಟೈಮ್ ಅನ್ನು ಮಾತ್ರ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು ವಿಶೇಷವಾಗಿ ಅಪಾಯಕಾರಿ, ಏಕೆಂದರೆ "ಮೇಲಕ್ಕೆ ಆದರೆ ತಪ್ಪು" ಎಂಬುದು ಡೌನ್ಗಿಂತ ಕೆಟ್ಟದಾಗಿರಬಹುದು.
ಉಲ್ಲೇಖಗಳು
-
ಅಮೆಜಾನ್ ವೆಬ್ ಸೇವೆಗಳು (AWS) - ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್: ರಿಯಲ್-ಟೈಮ್ ಇನ್ಫರೆನ್ಸ್ - docs.aws.amazon.com
-
ಅಮೆಜಾನ್ ವೆಬ್ ಸೇವೆಗಳು (AWS) - ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್ ಬ್ಯಾಚ್ ಟ್ರಾನ್ಸ್ಫಾರ್ಮ್ - docs.aws.amazon.com
-
ಅಮೆಜಾನ್ ವೆಬ್ ಸರ್ವೀಸಸ್ (AWS) - ಅಮೆಜಾನ್ ಸೇಜ್ಮೇಕರ್ ಮಾಡೆಲ್ ಮಾನಿಟರ್ - docs.aws.amazon.com
-
ಅಮೆಜಾನ್ ವೆಬ್ ಸೇವೆಗಳು (AWS) - API ಗೇಟ್ವೇ ವಿನಂತಿ ಥ್ರೊಟ್ಲಿಂಗ್ - docs.aws.amazon.com
-
ಅಮೆಜಾನ್ ವೆಬ್ ಸರ್ವೀಸಸ್ (AWS) - AWS ಸೀಕ್ರೆಟ್ಸ್ ಮ್ಯಾನೇಜರ್: ಪರಿಚಯ - docs.aws.amazon.com
-
ಅಮೆಜಾನ್ ವೆಬ್ ಸೇವೆಗಳು (AWS) - AWS ಲ್ಯಾಂಬ್ಡಾ ಎಕ್ಸಿಕ್ಯೂಶನ್ ಎನ್ವಿರಾನ್ಮೆಂಟ್ ಲೈಫ್ಸೈಕಲ್ - docs.aws.amazon.com
-
ಗೂಗಲ್ ಕ್ಲೌಡ್ - ವರ್ಟೆಕ್ಸ್ AI: ಒಂದು ಮಾದರಿಯನ್ನು ಎಂಡ್ಪಾಯಿಂಟ್ಗೆ ನಿಯೋಜಿಸಿ - docs.cloud.google.com
-
ಗೂಗಲ್ ಕ್ಲೌಡ್ - ವರ್ಟೆಕ್ಸ್ AI ಮಾದರಿ ಮಾನಿಟರಿಂಗ್ ಅವಲೋಕನ - docs.cloud.google.com
-
ಗೂಗಲ್ ಕ್ಲೌಡ್ - ವರ್ಟೆಕ್ಸ್ AI: ವೈಶಿಷ್ಟ್ಯದ ಓರೆ ಮತ್ತು ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ - docs.cloud.google.com
-
ಗೂಗಲ್ ಕ್ಲೌಡ್ ಬ್ಲಾಗ್ - ಡೇಟಾಫ್ಲೋ: ನಿಖರವಾಗಿ-ಒಮ್ಮೆ vs ಕನಿಷ್ಠ-ಒಮ್ಮೆ ಸ್ಟ್ರೀಮಿಂಗ್ ಮೋಡ್ಗಳು - cloud.google.com
-
Google ಮೇಘ - ಮೇಘ ಡೇಟಾಫ್ಲೋ ಸ್ಟ್ರೀಮಿಂಗ್ ಮೋಡ್ಗಳು - docs.cloud.google.com
-
ಗೂಗಲ್ ಎಸ್ಆರ್ಇ ಪುಸ್ತಕ - ಡಿಸ್ಟ್ರಿಬ್ಯೂಟೆಡ್ ಸಿಸ್ಟಮ್ಗಳ ಮೇಲ್ವಿಚಾರಣೆ - sre.google
-
ಗೂಗಲ್ ಸಂಶೋಧನೆ - ದಿ ಟೈಲ್ ಅಟ್ ಸ್ಕೇಲ್ - research.google
-
LiteRT (Google AI) - LiteRT ಅವಲೋಕನ - ai.google.dev
-
LiteRT (Google AI) - LiteRT ಆನ್-ಡಿವೈಸ್ ತೀರ್ಮಾನ - ai.google.dev
-
ಡಾಕರ್ - ಕಂಟೇನರ್ ಎಂದರೇನು? - docs.docker.com
-
ಡಾಕರ್ - ಡಾಕರ್ ಅತ್ಯುತ್ತಮ ಅಭ್ಯಾಸಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ - docs.docker.com
-
ಕುಬರ್ನೆಟ್ಸ್ - ಕುಬರ್ನೆಟ್ಸ್ ಸೀಕ್ರೆಟ್ಸ್ - kubernetes.io
-
ಕುಬರ್ನೆಟ್ಸ್ - ಅಡ್ಡ ಪಾಡ್ ಆಟೋಸ್ಕೇಲಿಂಗ್ - kubernetes.io
-
ಮಾರ್ಟಿನ್ ಫೌಲರ್ - ಕ್ಯಾನರಿ ಬಿಡುಗಡೆ - martinfowler.com
-
ಮಾರ್ಟಿನ್ ಫೌಲರ್ - ನೀಲಿ-ಹಸಿರು ನಿಯೋಜನೆ - martinfowler.com
-
ಓಪನ್ಎಪಿಐ ಉಪಕ್ರಮ - ಓಪನ್ಎಪಿಐ ಎಂದರೇನು? - openapis.org
-
JSON ಸ್ಕೀಮಾ - (ಸೈಟ್ ಉಲ್ಲೇಖಿಸಲಾಗಿದೆ) - json-schema.org
-
ಪ್ರೋಟೋಕಾಲ್ ಬಫರ್ಗಳು - ಪ್ರೋಟೋಕಾಲ್ ಬಫರ್ಗಳ ಅವಲೋಕನ - protobuf.dev
-
FastAPI - (ಸೈಟ್ ಉಲ್ಲೇಖಿಸಲಾಗಿದೆ) - fastapi.tiangolo.com
-
NVIDIA - ಟ್ರೈಟಾನ್: ಡೈನಾಮಿಕ್ ಬ್ಯಾಚಿಂಗ್ & ಕಾನ್ಕರೆಂಟ್ ಮಾಡೆಲ್ ಎಕ್ಸಿಕ್ಯೂಷನ್ - docs.nvidia.com
-
NVIDIA - ಟ್ರೈಟಾನ್: ಸಮಕಾಲೀನ ಮಾದರಿ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ - docs.nvidia.com
-
NVIDIA - ಟ್ರೈಟಾನ್ ಇನ್ಫರೆನ್ಸ್ ಸರ್ವರ್ ಡಾಕ್ಸ್ - docs.nvidia.com
-
ಪೈಟಾರ್ಚ್ - ಟಾರ್ಚ್ಸರ್ವ್ ಡಾಕ್ಸ್ - docs.pytorch.org
-
ಬೆಂಟೊಎಂಎಲ್ - ನಿಯೋಜನೆಗಾಗಿ ಪ್ಯಾಕೇಜಿಂಗ್ - docs.bentoml.com
-
ರೇ - ರೇ ಸರ್ವ್ ಡಾಕ್ಸ್ - docs.ray.io
-
ಟೆನ್ಸರ್ ಫ್ಲೋ - ತರಬೇತಿಯ ನಂತರದ ಪರಿಮಾಣೀಕರಣ (ಟೆನ್ಸರ್ ಫ್ಲೋ ಮಾದರಿ ಆಪ್ಟಿಮೈಸೇಶನ್) - tensorflow.org
-
ಟೆನ್ಸರ್ಫ್ಲೋ - ಟೆನ್ಸರ್ಫ್ಲೋ ಡೇಟಾ ಮೌಲ್ಯೀಕರಣ: ತರಬೇತಿ-ಸೇವೆ ಮಾಡುವ ಓರೆಯನ್ನು ಪತ್ತೆ ಮಾಡಿ - tensorflow.org
-
ONNX - (ಸೈಟ್ ಉಲ್ಲೇಖಿಸಲಾಗಿದೆ) - onnx.ai
-
ONNX ರನ್ಟೈಮ್ - ಮಾದರಿ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳು - onnxruntime.ai
-
NIST (ನ್ಯಾಷನಲ್ ಇನ್ಸ್ಟಿಟ್ಯೂಟ್ ಆಫ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ಸ್ ಅಂಡ್ ಟೆಕ್ನಾಲಜಿ) - NIST SP 800-122 - csrc.nist.gov
-
arXiv - ಮಾದರಿ ವರದಿ ಮಾಡುವಿಕೆಗಾಗಿ ಮಾದರಿ ಕಾರ್ಡ್ಗಳು - arxiv.org
-
ಮೈಕ್ರೋಸಾಫ್ಟ್ - ನೆರಳು ಪರೀಕ್ಷೆ - microsoft.github.io
-
OWASP - LLM ಅಪ್ಲಿಕೇಶನ್ಗಳಿಗೆ OWASP ಟಾಪ್ 10 - owasp.org
-
OWASP GenAI ಭದ್ರತಾ ಯೋಜನೆ - OWASP: ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ - genai.owasp.org