ಸಣ್ಣ ಉತ್ತರ: ನಿಮ್ಮ ಬಳಕೆಯ ಸಂದರ್ಭಕ್ಕೆ "ಒಳ್ಳೆಯದು" ಹೇಗೆ ಕಾಣುತ್ತದೆ ಎಂಬುದನ್ನು ವಿವರಿಸಿ, ನಂತರ ಪ್ರತಿನಿಧಿ, ಆವೃತ್ತಿಯ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ಅಂಚಿನ ಪ್ರಕರಣಗಳೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಿ. ವಿರೋಧಿ ಸುರಕ್ಷತೆ ಮತ್ತು ಪ್ರಾಂಪ್ಟ್-ಇಂಜೆಕ್ಷನ್ ಪರಿಶೀಲನೆಗಳ ಜೊತೆಗೆ ಮಾನವ ರೂಬ್ರಿಕ್ ಸ್ಕೋರಿಂಗ್ನೊಂದಿಗೆ ಸ್ವಯಂಚಾಲಿತ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಜೋಡಿಸಿ. ವೆಚ್ಚ ಅಥವಾ ಲೇಟೆನ್ಸಿ ನಿರ್ಬಂಧಗಳು ಬದ್ಧವಾಗಿದ್ದರೆ, ಖರ್ಚು ಮಾಡಿದ ಪ್ರತಿ ಪೌಂಡ್ಗೆ ಕಾರ್ಯ ಯಶಸ್ಸು ಮತ್ತು p95/p99 ಪ್ರತಿಕ್ರಿಯೆ ಸಮಯದ ಮೂಲಕ ಮಾದರಿಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡಿ.
ಪ್ರಮುಖ ಅಂಶಗಳು:
ಹೊಣೆಗಾರಿಕೆ : ಸ್ಪಷ್ಟ ಮಾಲೀಕರನ್ನು ನಿಯೋಜಿಸಿ, ಆವೃತ್ತಿ ದಾಖಲೆಗಳನ್ನು ಇರಿಸಿ ಮತ್ತು ಯಾವುದೇ ಪ್ರಾಂಪ್ಟ್ ಅಥವಾ ಮಾದರಿ ಬದಲಾವಣೆಯ ನಂತರ ಮರುಪರಿಶೀಲನೆ ಮಾಡಿ.
ಪಾರದರ್ಶಕತೆ : ನೀವು ಅಂಕಗಳನ್ನು ಸಂಗ್ರಹಿಸಲು ಪ್ರಾರಂಭಿಸುವ ಮೊದಲು ಯಶಸ್ಸಿನ ಮಾನದಂಡಗಳು, ನಿರ್ಬಂಧಗಳು ಮತ್ತು ವೈಫಲ್ಯದ ವೆಚ್ಚಗಳನ್ನು ಬರೆಯಿರಿ.
ಲೆಕ್ಕಪರಿಶೋಧನೆ : ಪುನರಾವರ್ತನೀಯ ಪರೀಕ್ಷಾ ಸೂಟ್ಗಳು, ಲೇಬಲ್ ಮಾಡಲಾದ ಡೇಟಾಸೆಟ್ಗಳು ಮತ್ತು ಟ್ರ್ಯಾಕ್ ಮಾಡಲಾದ p95/p99 ಲೇಟೆನ್ಸಿ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ನಿರ್ವಹಿಸಿ.
ಸ್ಪರ್ಧಾತ್ಮಕತೆ : ವಿವಾದಿತ ಔಟ್ಪುಟ್ಗಳಿಗಾಗಿ ಮಾನವ ವಿಮರ್ಶೆ ರೂಬ್ರಿಕ್ಗಳು ಮತ್ತು ವ್ಯಾಖ್ಯಾನಿಸಲಾದ ಮೇಲ್ಮನವಿ ಮಾರ್ಗವನ್ನು ಬಳಸಿ.
ದುರುಪಯೋಗ ಪ್ರತಿರೋಧ : ರೆಡ್-ಟೀಮ್ ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್, ಸೂಕ್ಷ್ಮ ವಿಷಯಗಳು ಮತ್ತು ಬಳಕೆದಾರರನ್ನು ರಕ್ಷಿಸಲು ಅತಿಯಾದ ನಿರಾಕರಣೆ.
ನೀವು ಒಂದು ಉತ್ಪನ್ನ, ಸಂಶೋಧನಾ ಯೋಜನೆ ಅಥವಾ ಆಂತರಿಕ ಪರಿಕರಕ್ಕಾಗಿ ಮಾದರಿಯನ್ನು ಆರಿಸುತ್ತಿದ್ದರೆ, ನೀವು "ಇದು ಸ್ಮಾರ್ಟ್ ಎಂದು ತೋರುತ್ತದೆ" ಎಂದು ಹೇಳಿ ಅದನ್ನು ರವಾನಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ ( OpenAI evals ಮಾರ್ಗದರ್ಶಿ ಮತ್ತು NIST AI RMF 1.0 ). ಫೋರ್ಕ್ ಅನ್ನು ಮೈಕ್ರೋವೇವ್ ಮಾಡುವುದು ಹೇಗೆ ಎಂದು ವಿಶ್ವಾಸದಿಂದ ವಿವರಿಸುವ ಚಾಟ್ಬಾಟ್ನೊಂದಿಗೆ ನೀವು ಹೇಗೆ ಕೊನೆಗೊಳ್ಳುತ್ತೀರಿ. 😬
ಇದರ ನಂತರ ನೀವು ಓದಲು ಇಷ್ಟಪಡಬಹುದಾದ ಲೇಖನಗಳು:
🔗 AI ನ ಭವಿಷ್ಯ: ಮುಂದಿನ ದಶಕವನ್ನು ರೂಪಿಸುವ ಪ್ರವೃತ್ತಿಗಳು
ಪ್ರಮುಖ ನಾವೀನ್ಯತೆಗಳು, ಉದ್ಯೋಗಗಳ ಪರಿಣಾಮ ಮತ್ತು ಮುಂದೆ ನೋಡಬೇಕಾದ ನೀತಿಶಾಸ್ತ್ರ.
🔗 ಆರಂಭಿಕರಿಗಾಗಿ ಜನರೇಟಿವ್ AI ನಲ್ಲಿ ಫೌಂಡೇಶನ್ ಮಾದರಿಗಳನ್ನು ವಿವರಿಸಲಾಗಿದೆ
ಅವರು ಏನು, ಎಷ್ಟು ತರಬೇತಿ ಪಡೆದಿದ್ದಾರೆ ಮತ್ತು ಅವು ಏಕೆ ಮುಖ್ಯವೆಂದು ತಿಳಿಯಿರಿ.
🔗 AI ಪರಿಸರ ಮತ್ತು ಶಕ್ತಿಯ ಬಳಕೆಯ ಮೇಲೆ ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ
ಹೊರಸೂಸುವಿಕೆ, ವಿದ್ಯುತ್ ಬೇಡಿಕೆ ಮತ್ತು ಹೆಜ್ಜೆಗುರುತನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮಾರ್ಗಗಳನ್ನು ಅನ್ವೇಷಿಸಿ.
🔗 ಇಂದು ತೀಕ್ಷ್ಣವಾದ ಚಿತ್ರಗಳಿಗೆ AI ಅಪ್ಸ್ಕೇಲಿಂಗ್ ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ
ಮಾದರಿಗಳು ವಿವರಗಳನ್ನು ಹೇಗೆ ಸೇರಿಸುತ್ತವೆ, ಶಬ್ದವನ್ನು ತೆಗೆದುಹಾಕುತ್ತವೆ ಮತ್ತು ಸ್ವಚ್ಛವಾಗಿ ದೊಡ್ಡದಾಗುತ್ತವೆ ಎಂಬುದನ್ನು ನೋಡಿ.
1) "ಒಳ್ಳೆಯದು" ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸುವುದು (ಅದು ಅವಲಂಬಿಸಿರುತ್ತದೆ, ಮತ್ತು ಅದು ಸರಿ) 🎯
ಯಾವುದೇ ಮೌಲ್ಯಮಾಪನ ನಡೆಸುವ ಮೊದಲು, ಯಶಸ್ಸು ಹೇಗಿರುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಿ. ಇಲ್ಲದಿದ್ದರೆ ನೀವು ಎಲ್ಲವನ್ನೂ ಅಳೆಯುತ್ತೀರಿ ಮತ್ತು ಏನನ್ನೂ ಕಲಿಯುವುದಿಲ್ಲ. ಇದು ಕೇಕ್ ಸ್ಪರ್ಧೆಯನ್ನು ನಿರ್ಣಯಿಸಲು ಟೇಪ್ ಅಳತೆಯನ್ನು ತಂದಂತೆ. ಖಂಡಿತ, ನಿಮಗೆ ಸಂಖ್ಯೆಗಳು ಸಿಗುತ್ತವೆ, ಆದರೆ ಅವು ನಿಮಗೆ ಹೆಚ್ಚು ಹೇಳುವುದಿಲ್ಲ 😅
ಸ್ಪಷ್ಟಪಡಿಸಿ:
-
ಬಳಕೆದಾರರ ಗುರಿ : ಸಾರಾಂಶ, ಹುಡುಕಾಟ, ಬರವಣಿಗೆ, ತಾರ್ಕಿಕತೆ, ಸತ್ಯ ಹೊರತೆಗೆಯುವಿಕೆ
-
ವೈಫಲ್ಯದ ವೆಚ್ಚ : ತಪ್ಪು ಚಲನಚಿತ್ರ ಶಿಫಾರಸು ತಮಾಷೆಯಾಗಿದೆ; ತಪ್ಪು ವೈದ್ಯಕೀಯ ಸೂಚನೆ... ತಮಾಷೆಯಲ್ಲ (ಅಪಾಯಕಾರಿ ಚೌಕಟ್ಟು: NIST AI RMF 1.0 ).
-
ರನ್ಟೈಮ್ ಪರಿಸರ : ಸಾಧನದಲ್ಲಿ, ಕ್ಲೌಡ್ನಲ್ಲಿ, ಫೈರ್ವಾಲ್ನ ಹಿಂದೆ, ನಿಯಂತ್ರಿತ ಪರಿಸರದಲ್ಲಿ
-
ಪ್ರಾಥಮಿಕ ನಿರ್ಬಂಧಗಳು : ವಿಳಂಬ, ಪ್ರತಿ ವಿನಂತಿಗೆ ವೆಚ್ಚ, ಗೌಪ್ಯತೆ, ವಿವರಿಸಬಹುದಾದಿಕೆ, ಬಹುಭಾಷಾ ಬೆಂಬಲ, ಧ್ವನಿ ನಿಯಂತ್ರಣ
ಒಂದು ಕೆಲಸದಲ್ಲಿ "ಅತ್ಯುತ್ತಮ" ಎಂದು ತೋರುವ ಮಾದರಿಯು ಇನ್ನೊಂದು ಕೆಲಸದಲ್ಲಿ ವಿಪತ್ತಾಗಬಹುದು. ಅದು ವಿರೋಧಾಭಾಸವಲ್ಲ, ಇದು ವಾಸ್ತವ. 🙂
2) ಎಂತಹ ದೃಢವಾದ AI ಮಾದರಿ ಮೌಲ್ಯಮಾಪನ ಚೌಕಟ್ಟು ಕಾಣುತ್ತದೆ 🧰
ಹೌದು, ಜನರು ಈ ಭಾಗವನ್ನು ಬಿಟ್ಟುಬಿಡುತ್ತಾರೆ. ಅವರು ಮಾನದಂಡವನ್ನು ಪಡೆದುಕೊಳ್ಳುತ್ತಾರೆ, ಅದನ್ನು ಒಮ್ಮೆ ಚಲಾಯಿಸುತ್ತಾರೆ ಮತ್ತು ಅದನ್ನು ಒಂದು ದಿನ ಎಂದು ಕರೆಯುತ್ತಾರೆ. ದೃಢವಾದ ಮೌಲ್ಯಮಾಪನ ಚೌಕಟ್ಟು ಕೆಲವು ಸ್ಥಿರವಾದ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಹೊಂದಿದೆ (ಪ್ರಾಯೋಗಿಕ ಪರಿಕರ ಉದಾಹರಣೆಗಳು: OpenAI Evals / OpenAI Evals ಮಾರ್ಗದರ್ಶಿ ):
-
ಪುನರಾವರ್ತಿಸಬಹುದು - ನೀವು ಮುಂದಿನ ವಾರ ಅದನ್ನು ಮತ್ತೆ ಚಲಾಯಿಸಬಹುದು ಮತ್ತು ಹೋಲಿಕೆಗಳನ್ನು ನಂಬಬಹುದು.
-
ಪ್ರತಿನಿಧಿ - ಇದು ನಿಮ್ಮ ನಿಜವಾದ ಬಳಕೆದಾರರು ಮತ್ತು ಕಾರ್ಯಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ (ಕೇವಲ ಕ್ಷುಲ್ಲಕವಲ್ಲ)
-
ಬಹು-ಲೇಯರ್ಡ್ - ಸ್ವಯಂಚಾಲಿತ ಮೆಟ್ರಿಕ್ಸ್ + ಮಾನವ ವಿಮರ್ಶೆ + ವಿರೋಧಿ ಪರೀಕ್ಷೆಗಳನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ
-
ಕಾರ್ಯಸಾಧ್ಯ - ಫಲಿತಾಂಶಗಳು "ಅಂಕ ಕಡಿಮೆಯಾಗಿದೆ" ಎಂದು ಮಾತ್ರ ಹೇಳುವುದಿಲ್ಲ, ಏನು ಸರಿಪಡಿಸಬೇಕೆಂದು ನಿಮಗೆ ತಿಳಿಸುತ್ತದೆ.
-
ಟ್ಯಾಂಪರ್-ನಿರೋಧಕ - "ಪರೀಕ್ಷೆಗೆ ಒಗ್ಗಿಕೊಳ್ಳುವುದು" ಅಥವಾ ಆಕಸ್ಮಿಕ ಸೋರಿಕೆಯನ್ನು ತಪ್ಪಿಸುತ್ತದೆ
-
ವೆಚ್ಚದ ಅರಿವು - ಮೌಲ್ಯಮಾಪನವು ನಿಮ್ಮನ್ನು ದಿವಾಳಿ ಮಾಡಬಾರದು (ನೀವು ನೋವನ್ನು ಇಷ್ಟಪಡದ ಹೊರತು)
"ಸರಿ, ಆದರೆ ಇದನ್ನು ಉತ್ಪಾದನೆಗೆ ಹೊಂದಿಸಿ" ಎಂದು ಸಂಶಯಾಸ್ಪದ ತಂಡದ ಸಹ ಆಟಗಾರ ಹೇಳಿದಾಗ ನಿಮ್ಮ ಮೌಲ್ಯಮಾಪನವು ನಿಲ್ಲಲು ಸಾಧ್ಯವಾಗದಿದ್ದರೆ, ಅದು ಇನ್ನೂ ಮುಗಿದಿಲ್ಲ. ಅದು ವೈಬ್ ಚೆಕ್.
3) ಬಳಕೆಯ ಪ್ರಕರಣದ ಸ್ಲೈಸ್ಗಳಿಂದ ಪ್ರಾರಂಭಿಸಿ AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು 🍰
ಸಾಕಷ್ಟು ಸಮಯವನ್ನು ಉಳಿಸುವ ಒಂದು ತಂತ್ರ ಇಲ್ಲಿದೆ: ಬಳಕೆಯ ಪ್ರಕರಣವನ್ನು ಹೋಳುಗಳಾಗಿ ವಿಭಜಿಸಿ .
"ಮಾದರಿ ಮೌಲ್ಯಮಾಪನ" ಮಾಡುವ ಬದಲು, ಹೀಗೆ ಮಾಡಿ:
-
ಉದ್ದೇಶದ ತಿಳುವಳಿಕೆ (ಬಳಕೆದಾರರು ಬಯಸಿದ್ದನ್ನು ಅದು ಪಡೆಯುತ್ತದೆಯೇ)
-
ಮರುಪಡೆಯುವಿಕೆ ಅಥವಾ ಸಂದರ್ಭದ ಬಳಕೆ (ಒದಗಿಸಿದ ಮಾಹಿತಿಯನ್ನು ಅದು ಸರಿಯಾಗಿ ಬಳಸುತ್ತದೆಯೇ)
-
ತಾರ್ಕಿಕ / ಬಹು-ಹಂತದ ಕಾರ್ಯಗಳು (ಇದು ಹಂತಗಳಲ್ಲಿ ಸುಸಂಬದ್ಧವಾಗಿ ಉಳಿಯುತ್ತದೆಯೇ)
-
ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಮತ್ತು ರಚನೆ (ಇದು ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸುತ್ತದೆಯೇ)
-
ಸುರಕ್ಷತೆ ಮತ್ತು ನೀತಿ ಜೋಡಣೆ (ಇದು ಅಸುರಕ್ಷಿತ ವಿಷಯವನ್ನು ತಪ್ಪಿಸುತ್ತದೆಯೇ; NIST AI RMF 1.0 )
-
ಟೋನ್ ಮತ್ತು ಬ್ರ್ಯಾಂಡ್ ಧ್ವನಿ (ನೀವು ಬಯಸುವಂತೆ ಧ್ವನಿಸುತ್ತದೆಯೇ)
ಇದು "AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು" ಎಂಬುದನ್ನು ಒಂದು ದೊಡ್ಡ ಪರೀಕ್ಷೆಯಂತೆ ಕಾಣದಂತೆ ಮತ್ತು ಉದ್ದೇಶಿತ ರಸಪ್ರಶ್ನೆಗಳ ಗುಂಪಿನಂತೆ ಭಾಸವಾಗಿಸುತ್ತದೆ. ರಸಪ್ರಶ್ನೆಗಳು ಕಿರಿಕಿರಿ ಉಂಟುಮಾಡುತ್ತವೆ, ಆದರೆ ನಿರ್ವಹಿಸಬಲ್ಲವು. 😄
4) ಆಫ್ಲೈನ್ ಮೌಲ್ಯಮಾಪನದ ಮೂಲಗಳು - ಪರೀಕ್ಷಾ ಸೆಟ್ಗಳು, ಲೇಬಲ್ಗಳು ಮತ್ತು ಮುಖ್ಯವಾದ ಆಕರ್ಷಕವಲ್ಲದ ವಿವರಗಳು 📦
ಆಫ್ಲೈನ್ ಇವಾಲ್ ಎಂದರೆ ಬಳಕೆದಾರರು ಏನನ್ನಾದರೂ ಸ್ಪರ್ಶಿಸುವ ಮೊದಲು ನೀವು ನಿಯಂತ್ರಿತ ಪರೀಕ್ಷೆಗಳನ್ನು ಮಾಡುವ ಸ್ಥಳವಾಗಿದೆ (ವರ್ಕ್ಫ್ಲೋ ಮಾದರಿಗಳು: ಓಪನ್ಎಐ ಇವಾಲ್ಗಳು ).
ನಿಜವಾಗಿಯೂ ನಿಮ್ಮದೇ ಆದ ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ನಿರ್ಮಿಸಿ ಅಥವಾ ಸಂಗ್ರಹಿಸಿ
ಉತ್ತಮ ಪರೀಕ್ಷಾ ಸೆಟ್ ಸಾಮಾನ್ಯವಾಗಿ ಇವುಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ:
-
ಸುವರ್ಣ ಉದಾಹರಣೆಗಳು : ನೀವು ಹೆಮ್ಮೆಯಿಂದ ಸಾಗಿಸಬಹುದಾದ ಆದರ್ಶ ಉತ್ಪನ್ನಗಳು
-
ಅಂಚಿನ ಪ್ರಕರಣಗಳು : ಅಸ್ಪಷ್ಟ ಪ್ರಾಂಪ್ಟ್ಗಳು, ಅಸ್ತವ್ಯಸ್ತವಾದ ಇನ್ಪುಟ್ಗಳು, ಅನಿರೀಕ್ಷಿತ ಫಾರ್ಮ್ಯಾಟಿಂಗ್
-
ವೈಫಲ್ಯ-ಮೋಡ್ ಪ್ರೋಬ್ಗಳು : ಭ್ರಮೆಗಳು ಅಥವಾ ಅಸುರಕ್ಷಿತ ಪ್ರತ್ಯುತ್ತರಗಳನ್ನು ಪ್ರಚೋದಿಸುವ ಪ್ರಾಂಪ್ಟ್ಗಳು (ಅಪಾಯ ಪರೀಕ್ಷಾ ಚೌಕಟ್ಟು: NIST AI RMF 1.0 )
-
ವೈವಿಧ್ಯತೆ ವ್ಯಾಪ್ತಿ : ವಿಭಿನ್ನ ಬಳಕೆದಾರ ಕೌಶಲ್ಯ ಮಟ್ಟಗಳು, ಉಪಭಾಷೆಗಳು, ಭಾಷೆಗಳು, ಡೊಮೇನ್ಗಳು
ನೀವು "ಕ್ಲೀನ್" ಪ್ರಾಂಪ್ಟ್ಗಳಲ್ಲಿ ಮಾತ್ರ ಪರೀಕ್ಷಿಸಿದರೆ, ಮಾದರಿ ಅದ್ಭುತವಾಗಿ ಕಾಣುತ್ತದೆ. ನಂತರ ನಿಮ್ಮ ಬಳಕೆದಾರರು ಟೈಪೊಗಳು, ಅರ್ಧ ವಾಕ್ಯಗಳು ಮತ್ತು ಕ್ರೋಧ-ಕ್ಲಿಕ್ ಶಕ್ತಿಯೊಂದಿಗೆ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತಾರೆ. ವಾಸ್ತವಕ್ಕೆ ಸುಸ್ವಾಗತ.
ಲೇಬಲಿಂಗ್ ಆಯ್ಕೆಗಳು (ಅಕಾ: ಕಟ್ಟುನಿಟ್ಟಿನ ಮಟ್ಟಗಳು)
ನೀವು ಔಟ್ಪುಟ್ಗಳನ್ನು ಹೀಗೆ ಲೇಬಲ್ ಮಾಡಬಹುದು:
-
ಬೈನರಿ : ಪಾಸ್/ಫೇಲ್ (ವೇಗ, ಕಠಿಣ)
-
ಸಾಮಾನ್ಯ : 1-5 ಗುಣಮಟ್ಟದ ಅಂಕಗಳು (ಸೂಕ್ಷ್ಮ, ವ್ಯಕ್ತಿನಿಷ್ಠ)
-
ಬಹು-ಗುಣಲಕ್ಷಣ : ನಿಖರತೆ, ಸಂಪೂರ್ಣತೆ, ಸ್ವರ, ಉಲ್ಲೇಖ ಬಳಕೆ, ಇತ್ಯಾದಿ (ಉತ್ತಮ, ನಿಧಾನ)
ಬಹು-ಗುಣಲಕ್ಷಣಗಳು ಅನೇಕ ತಂಡಗಳಿಗೆ ಸಿಹಿ ತಾಣವಾಗಿದೆ. ಇದು ಆಹಾರವನ್ನು ರುಚಿ ನೋಡುವುದು ಮತ್ತು ಅದರ ಉಪ್ಪನ್ನು ವಿನ್ಯಾಸದಿಂದ ಪ್ರತ್ಯೇಕವಾಗಿ ನಿರ್ಣಯಿಸುವಂತಿದೆ. ಇಲ್ಲದಿದ್ದರೆ ನೀವು "ಒಳ್ಳೆಯದು" ಎಂದು ಹೇಳಿ ಭುಜ ಕುಗ್ಗಿಸುತ್ತೀರಿ.
5) ಸುಳ್ಳು ಹೇಳದ ಮೆಟ್ರಿಕ್ಗಳು - ಮತ್ತು ಹಾಗೆ ಮಾಡುವ ಮೆಟ್ರಿಕ್ಗಳು 📊😅
ಮೆಟ್ರಿಕ್ಗಳು ಅಮೂಲ್ಯವಾದವು... ಆದರೆ ಅವು ಮಿನುಗು ಬಾಂಬ್ ಆಗಿರಬಹುದು. ಹೊಳೆಯುವ, ಎಲ್ಲೆಡೆ ಮತ್ತು ಸ್ವಚ್ಛಗೊಳಿಸಲು ಕಷ್ಟ.
ಸಾಮಾನ್ಯ ಮೆಟ್ರಿಕ್ ಕುಟುಂಬಗಳು
-
ನಿಖರತೆ / ನಿಖರ ಹೊಂದಾಣಿಕೆ : ಹೊರತೆಗೆಯುವಿಕೆ, ವರ್ಗೀಕರಣ, ರಚನಾತ್ಮಕ ಕಾರ್ಯಗಳಿಗೆ ಉತ್ತಮವಾಗಿದೆ.
-
F1 / ನಿಖರತೆ / ಮರುಸ್ಥಾಪನೆ : ಹೆಚ್ಚುವರಿ ಶಬ್ದಕ್ಕಿಂತ ಏನಾದರೂ ತಪ್ಪಿದಾಗ ಸೂಕ್ತವಾಗಿರುತ್ತದೆ (ವ್ಯಾಖ್ಯಾನಗಳು: scikit-ಕಲಿಕೆ ನಿಖರತೆ / ಮರುಸ್ಥಾಪನೆ / F-ಸ್ಕೋರ್ )
-
BLEU / ROUGE ಶೈಲಿಯ ಅತಿಕ್ರಮಣ : ಸಾರಾಂಶ-ರೀತಿಯ ಕಾರ್ಯಗಳಿಗೆ ಸರಿ, ಆಗಾಗ್ಗೆ ದಾರಿತಪ್ಪಿಸುತ್ತದೆ (ಮೂಲ ಮೆಟ್ರಿಕ್ಗಳು: BLEU ಮತ್ತು ROUGE )
-
ಹೋಲಿಕೆಯನ್ನು ಎಂಬೆಡಿಂಗ್ : ಶಬ್ದಾರ್ಥದ ಹೊಂದಾಣಿಕೆಗೆ ಸಹಾಯಕವಾಗಿದೆ, ತಪ್ಪು-ಆದರೆ-ಹೋಲುವ ಉತ್ತರಗಳಿಗೆ ಪ್ರತಿಫಲ ನೀಡಬಹುದು.
-
ಕಾರ್ಯ ಯಶಸ್ಸಿನ ದರ : "ಬಳಕೆದಾರರು ತಮಗೆ ಬೇಕಾದುದನ್ನು ಪಡೆದಿದ್ದಾರೆಯೇ" ಎಂಬುದನ್ನು ಚೆನ್ನಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸಿದಾಗ ಚಿನ್ನದ ಮಾನದಂಡ
-
ನಿರ್ಬಂಧ ಅನುಸರಣೆ : ಸ್ವರೂಪ, ಉದ್ದ, JSON ಸಿಂಧುತ್ವ, ಸ್ಕೀಮಾ ಅನುಸರಣೆಯನ್ನು ಅನುಸರಿಸುತ್ತದೆ.
ಪ್ರಮುಖ ಅಂಶ
ನಿಮ್ಮ ಕೆಲಸವು ಮುಕ್ತ-ಅಂತ್ಯವಾಗಿದ್ದರೆ (ಬರವಣಿಗೆ, ತಾರ್ಕಿಕತೆ, ಬೆಂಬಲ ಚಾಟ್), ಏಕ-ಸಂಖ್ಯೆಯ ಮೆಟ್ರಿಕ್ಗಳು... ಅಲುಗಾಡಬಹುದು. ಅರ್ಥಹೀನವಲ್ಲ, ಕೇವಲ ಅಲುಗಾಡಬಹುದು. ರೂಲರ್ನೊಂದಿಗೆ ಸೃಜನಶೀಲತೆಯನ್ನು ಅಳೆಯುವುದು ಸಾಧ್ಯ, ಆದರೆ ನೀವು ಅದನ್ನು ಮಾಡುವುದನ್ನು ಮೂರ್ಖತನವೆಂದು ಭಾವಿಸುವಿರಿ. (ನೀವು ಬಹುಶಃ ನಿಮ್ಮ ಕಣ್ಣನ್ನು ಹೊರಗೆ ಹಾಕುತ್ತೀರಿ.)
ಆದ್ದರಿಂದ: ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಬಳಸಿ, ಆದರೆ ಅವುಗಳನ್ನು ಮಾನವ ವಿಮರ್ಶೆ ಮತ್ತು ನೈಜ ಕಾರ್ಯ ಫಲಿತಾಂಶಗಳಿಗೆ ಆಧಾರವಾಗಿರಿಸಿ (LLM-ಆಧಾರಿತ ಮೌಲ್ಯಮಾಪನ ಚರ್ಚೆಯ ಒಂದು ಉದಾಹರಣೆ + ಎಚ್ಚರಿಕೆಗಳು: G-Eval ).
6) ಹೋಲಿಕೆ ಕೋಷ್ಟಕ - ಉನ್ನತ ಮೌಲ್ಯಮಾಪನ ಆಯ್ಕೆಗಳು (ವಿಲಕ್ಷಣಗಳೊಂದಿಗೆ, ಏಕೆಂದರೆ ಜೀವನವು ವಿಲಕ್ಷಣಗಳನ್ನು ಹೊಂದಿದೆ) 🧾✨
ಮೌಲ್ಯಮಾಪನ ವಿಧಾನಗಳ ಪ್ರಾಯೋಗಿಕ ಮೆನು ಇಲ್ಲಿದೆ. ಮಿಶ್ರಣ ಮಾಡಿ ಹೊಂದಿಸಿ. ಹೆಚ್ಚಿನ ತಂಡಗಳು ಹಾಗೆ ಮಾಡುತ್ತವೆ.
| ಉಪಕರಣ / ವಿಧಾನ | ಪ್ರೇಕ್ಷಕರು | ಬೆಲೆ | ಅದು ಏಕೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ |
|---|---|---|---|
| ಕೈಯಿಂದ ನಿರ್ಮಿಸಲಾದ ಪ್ರಾಂಪ್ಟ್ ಪರೀಕ್ಷಾ ಸೂಟ್ | ಉತ್ಪನ್ನ + ಇಂಜಿನಿಯರಿಂಗ್ | $ | ತುಂಬಾ ಗುರಿಯಿಟ್ಟುಕೊಂಡಿದೆ, ಹಿಂಜರಿತಗಳನ್ನು ವೇಗವಾಗಿ ಹಿಡಿಯುತ್ತದೆ - ಆದರೆ ನೀವು ಅದನ್ನು ಶಾಶ್ವತವಾಗಿ ನಿರ್ವಹಿಸಬೇಕು 🙃 (ಸ್ಟಾರ್ಟರ್ ಟೂಲಿಂಗ್: OpenAI Evals ) |
| ಮಾನವ ರೂಬ್ರಿಕ್ ಸ್ಕೋರಿಂಗ್ ಫಲಕ | ವಿಮರ್ಶಕರನ್ನು ಉಳಿಸಬಹುದಾದ ತಂಡಗಳು | $$ | ಸ್ವರ, ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸ, "ಒಬ್ಬ ಮನುಷ್ಯ ಇದನ್ನು ಸ್ವೀಕರಿಸುತ್ತಾನಾ", ವಿಮರ್ಶಕರನ್ನು ಅವಲಂಬಿಸಿ ಸ್ವಲ್ಪ ಅವ್ಯವಸ್ಥೆಗೆ ಉತ್ತಮವಾಗಿದೆ |
| ಎಲ್ಎಲ್ಎಂ-ಆಸ್-ನ್ಯಾಯಾಧೀಶರು (ರೂಬ್ರಿಕ್ಗಳೊಂದಿಗೆ) | ವೇಗದ ಪುನರಾವರ್ತನೆ ಲೂಪ್ಗಳು | $-$$ | ತ್ವರಿತ ಮತ್ತು ಅಳೆಯಬಹುದಾದ, ಆದರೆ ಪಕ್ಷಪಾತವನ್ನು ಆನುವಂಶಿಕವಾಗಿ ಪಡೆಯಬಹುದು ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ವೈಬ್ಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸಬಹುದು, ಸತ್ಯಗಳಲ್ಲ (ಸಂಶೋಧನೆ + ತಿಳಿದಿರುವ ಪಕ್ಷಪಾತ ಸಮಸ್ಯೆಗಳು: ಜಿ-ಇವಾಲ್ ) |
| ಎದುರಾಳಿ ರೆಡ್-ಟೀಮಿಂಗ್ ಸ್ಪ್ರಿಂಟ್ | ಸುರಕ್ಷತೆ + ಅನುಸರಣೆ | $$ | ಮಸಾಲೆಯುಕ್ತ ವೈಫಲ್ಯ ವಿಧಾನಗಳನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ತ್ವರಿತ ಇಂಜೆಕ್ಷನ್ - ಜಿಮ್ನಲ್ಲಿ ಒತ್ತಡ ಪರೀಕ್ಷೆಯಂತೆ ಭಾಸವಾಗುತ್ತದೆ (ಬೆದರಿಕೆ ಅವಲೋಕನ: OWASP LLM01 ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ / LLM ಅಪ್ಲಿಕೇಶನ್ಗಳಿಗಾಗಿ OWASP ಟಾಪ್ 10 ) |
| ಸಂಶ್ಲೇಷಿತ ಪರೀಕ್ಷಾ ಉತ್ಪಾದನೆ | ಡೇಟಾ-ಲೈಟ್ ತಂಡಗಳು | $ | ಉತ್ತಮ ಕವರೇಜ್, ಆದರೆ ಸಂಶ್ಲೇಷಿತ ಪ್ರಾಂಪ್ಟ್ಗಳು ತುಂಬಾ ಅಚ್ಚುಕಟ್ಟಾಗಿರಬಹುದು, ತುಂಬಾ ಸಭ್ಯವಾಗಿರಬಹುದು... ಬಳಕೆದಾರರು ಸಭ್ಯರಲ್ಲ |
| ನಿಜವಾದ ಬಳಕೆದಾರರೊಂದಿಗೆ A/B ಪರೀಕ್ಷೆ | ಪ್ರೌಢ ಉತ್ಪನ್ನಗಳು | $$$ | ಸ್ಪಷ್ಟ ಸಂಕೇತ - ಮೆಟ್ರಿಕ್ಸ್ ಬದಲಾದಾಗ ಅತ್ಯಂತ ಭಾವನಾತ್ಮಕವಾಗಿ ಒತ್ತಡವನ್ನುಂಟುಮಾಡುತ್ತದೆ (ಕ್ಲಾಸಿಕ್ ಪ್ರಾಯೋಗಿಕ ಮಾರ್ಗದರ್ಶಿ: ಕೊಹವಿ ಮತ್ತು ಇತರರು, “ವೆಬ್ನಲ್ಲಿ ನಿಯಂತ್ರಿತ ಪ್ರಯೋಗಗಳು” ) |
| ಮರುಪಡೆಯುವಿಕೆ-ಆಧಾರಿತ ಮೌಲ್ಯಮಾಪನ (RAG ಪರಿಶೀಲನೆಗಳು) | ಹುಡುಕಾಟ + QA ಅಪ್ಲಿಕೇಶನ್ಗಳು | $$ | ಅಳತೆಗಳು “ಸಂದರ್ಭವನ್ನು ಸರಿಯಾಗಿ ಬಳಸುತ್ತವೆ,” ಭ್ರಮೆ ಸ್ಕೋರ್ ಹಣದುಬ್ಬರವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ (RAG ಮೌಲ್ಯಮಾಪನ ಅವಲೋಕನ: RAG ಮೌಲ್ಯಮಾಪನ: ಒಂದು ಸಮೀಕ್ಷೆ ) |
| ಮೇಲ್ವಿಚಾರಣೆ + ಡ್ರಿಫ್ಟ್ ಪತ್ತೆ | ಉತ್ಪಾದನಾ ವ್ಯವಸ್ಥೆಗಳು | $$-$$$ | ಕಾಲಾನಂತರದಲ್ಲಿ ಅವನತಿಯನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ - ಅದು ನಿಮ್ಮನ್ನು ಉಳಿಸುವ ದಿನದವರೆಗೂ ಅಪ್ರಚಲಿತವಾಗಿದೆ 😬 (ಡ್ರಿಫ್ಟ್ ಅವಲೋಕನ: ಕಾನ್ಸೆಪ್ಟ್ ಡ್ರಿಫ್ಟ್ ಸಮೀಕ್ಷೆ (PMC) ) |
ಬೆಲೆಗಳು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿಯೇ ಕಡಿಮೆ ಇರುವುದನ್ನು ಗಮನಿಸಿ. ಅವು ಪ್ರಮಾಣ, ಉಪಕರಣಗಳು ಮತ್ತು ನೀವು ಆಕಸ್ಮಿಕವಾಗಿ ಎಷ್ಟು ಸಭೆಗಳನ್ನು ಹುಟ್ಟುಹಾಕುತ್ತೀರಿ ಎಂಬುದರ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ.
7) ಮಾನವ ಮೌಲ್ಯಮಾಪನ - ಜನರು ಕಡಿಮೆ ಹಣ ನೀಡುವ ರಹಸ್ಯ ಅಸ್ತ್ರ 👀🧑⚖️
ನೀವು ಸ್ವಯಂಚಾಲಿತ ಮೌಲ್ಯಮಾಪನವನ್ನು ಮಾತ್ರ ಮಾಡಿದರೆ, ನೀವು ತಪ್ಪಿಸಿಕೊಳ್ಳುತ್ತೀರಿ:
-
ಸ್ವರ ಹೊಂದಾಣಿಕೆಯಿಲ್ಲ (“ಅದು ಏಕೆ ಇಷ್ಟೊಂದು ವ್ಯಂಗ್ಯವಾಡುತ್ತಿದೆ”)
-
ಸ್ಪಷ್ಟವಾಗಿ ಕಾಣುವ ಸೂಕ್ಷ್ಮ ವಾಸ್ತವಿಕ ದೋಷಗಳು
-
ಹಾನಿಕಾರಕ ಪರಿಣಾಮಗಳು, ಸ್ಟೀರಿಯೊಟೈಪ್ಗಳು ಅಥವಾ ವಿಚಿತ್ರವಾದ ಪದಗುಚ್ಛಗಳು (ಅಪಾಯ + ಪಕ್ಷಪಾತ ಚೌಕಟ್ಟು: NIST AI RMF 1.0 )
-
ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸಿದ ನಂತರವೂ "ಬುದ್ಧಿವಂತ" ಎಂದು ತೋರುವ ವೈಫಲ್ಯಗಳು
ರೂಬ್ರಿಕ್ಸ್ ಕಾಂಕ್ರೀಟ್ ಮಾಡಿ (ಅಥವಾ ವಿಮರ್ಶಕರು ಫ್ರೀಸ್ಟೈಲ್ ಮಾಡುತ್ತಾರೆ)
ಕೆಟ್ಟ ರೂಬ್ರಿಕ್: “ಸಹಾಯಕತೆ”
ಉತ್ತಮ ರೂಬ್ರಿಕ್:
-
ಸರಿಯಾದತೆ : ಪ್ರಾಂಪ್ಟ್ + ಸಂದರ್ಭವನ್ನು ನೀಡಿದರೆ ವಾಸ್ತವಿಕವಾಗಿ ನಿಖರವಾಗಿದೆ.
-
ಸಂಪೂರ್ಣತೆ : ಅನಗತ್ಯ ಗೊಂದಲಗಳಿಲ್ಲದೆ ಅಗತ್ಯವಿರುವ ಅಂಶಗಳನ್ನು ಒಳಗೊಂಡಿದೆ.
-
ಸ್ಪಷ್ಟತೆ : ಓದಬಲ್ಲ, ರಚನಾತ್ಮಕ, ಕನಿಷ್ಠ ಗೊಂದಲ.
-
ನೀತಿ / ಸುರಕ್ಷತೆ : ನಿರ್ಬಂಧಿತ ವಿಷಯವನ್ನು ತಪ್ಪಿಸುತ್ತದೆ, ನಿರಾಕರಣೆಯನ್ನು ಚೆನ್ನಾಗಿ ನಿರ್ವಹಿಸುತ್ತದೆ (ಸುರಕ್ಷತಾ ಚೌಕಟ್ಟು: NIST AI RMF 1.0 )
-
ಶೈಲಿ : ಧ್ವನಿ, ಸ್ವರ, ಓದುವ ಮಟ್ಟಕ್ಕೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ.
-
ನಿಷ್ಠೆ : ಮೂಲಗಳನ್ನು ಅಥವಾ ಬೆಂಬಲಿತವಲ್ಲದ ಹಕ್ಕುಗಳನ್ನು ಆವಿಷ್ಕರಿಸುವುದಿಲ್ಲ.
ಅಲ್ಲದೆ, ಕೆಲವೊಮ್ಮೆ ಅಂತರ-ರೇಟರ್ ಪರಿಶೀಲನೆಗಳನ್ನು ಮಾಡಿ. ಇಬ್ಬರು ವಿಮರ್ಶಕರು ನಿರಂತರವಾಗಿ ಭಿನ್ನಾಭಿಪ್ರಾಯ ಹೊಂದಿದ್ದರೆ, ಅದು "ಜನರ ಸಮಸ್ಯೆ" ಅಲ್ಲ, ಅದು ರೂಬ್ರಿಕ್ ಸಮಸ್ಯೆ. ಸಾಮಾನ್ಯವಾಗಿ (ಅಂತರ-ರೇಟರ್ ವಿಶ್ವಾಸಾರ್ಹತೆಯ ಮೂಲಗಳು: ಕೊಹೆನ್ಸ್ ಕಪ್ಪಾದಲ್ಲಿ ಮೆಕ್ಹಗ್ ).
8) ಸುರಕ್ಷತೆ, ದೃಢತೆ ಮತ್ತು "ಉಹ್, ಬಳಕೆದಾರರು" ಗಾಗಿ AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು 🧯🧪
ಪ್ರಾರಂಭಿಸುವ ಮೊದಲು ನೀವು ಮಾಡುವ ಭಾಗ ಇದು - ಮತ್ತು ನಂತರ ಅದನ್ನು ಮುಂದುವರಿಸಿ, ಏಕೆಂದರೆ ಇಂಟರ್ನೆಟ್ ಎಂದಿಗೂ ನಿದ್ರಿಸುವುದಿಲ್ಲ.
ದೃಢತೆಯ ಪರೀಕ್ಷೆಗಳು ಸೇರಿವೆ
-
ಟೈಪೊಗಳು, ಗ್ರಾಮ್ಯ ಭಾಷೆ, ಮುರಿದ ವ್ಯಾಕರಣ
-
ಬಹಳ ದೀರ್ಘವಾದ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ಬಹಳ ಚಿಕ್ಕ ಪ್ರಾಂಪ್ಟ್ಗಳು
-
ವಿರೋಧಾಭಾಸದ ಸೂಚನೆಗಳು (“ಸಂಕ್ಷಿಪ್ತವಾಗಿರಿ ಆದರೆ ಪ್ರತಿಯೊಂದು ವಿವರವನ್ನು ಸೇರಿಸಿ”)
-
ಬಳಕೆದಾರರು ಗುರಿಗಳನ್ನು ಬದಲಾಯಿಸುವ ಬಹು-ತಿರುವು ಸಂಭಾಷಣೆಗಳು
-
ತ್ವರಿತ ಇಂಜೆಕ್ಷನ್ ಪ್ರಯತ್ನಗಳು ("ಹಿಂದಿನ ನಿಯಮಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಿ...") (ಬೆದರಿಕೆ ವಿವರಗಳು: OWASP LLM01 ತ್ವರಿತ ಇಂಜೆಕ್ಷನ್ )
-
ಎಚ್ಚರಿಕೆಯಿಂದ ನಿರಾಕರಿಸುವ ಸೂಕ್ಷ್ಮ ವಿಷಯಗಳು (ಅಪಾಯ/ಸುರಕ್ಷತಾ ಚೌಕಟ್ಟು: NIST AI RMF 1.0 )
ಸುರಕ್ಷತಾ ಮೌಲ್ಯಮಾಪನವು ಕೇವಲ "ಅದು ನಿರಾಕರಿಸುತ್ತದೆಯೇ" ಅಲ್ಲ
ಒಂದು ಒಳ್ಳೆಯ ಮಾದರಿ ಹೀಗಿರಬೇಕು:
-
ಅಸುರಕ್ಷಿತ ವಿನಂತಿಗಳನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಮತ್ತು ಶಾಂತವಾಗಿ ನಿರಾಕರಿಸಿ (ಮಾರ್ಗದರ್ಶನ ಚೌಕಟ್ಟು: NIST AI RMF 1.0 )
-
ಸೂಕ್ತವಾದಾಗ ಸುರಕ್ಷಿತ ಪರ್ಯಾಯಗಳನ್ನು ಒದಗಿಸಿ
-
ನಿರುಪದ್ರವ ಪ್ರಶ್ನೆಗಳನ್ನು ಅತಿಯಾಗಿ ನಿರಾಕರಿಸುವುದನ್ನು ತಪ್ಪಿಸಿ (ತಪ್ಪು ಧನಾತ್ಮಕ)
-
ಸ್ಪಷ್ಟೀಕರಣ ಪ್ರಶ್ನೆಗಳೊಂದಿಗೆ ಅಸ್ಪಷ್ಟ ವಿನಂತಿಗಳನ್ನು ನಿರ್ವಹಿಸಿ (ಅನುಮತಿಸಿದಾಗ)
ಅತಿಯಾಗಿ ನಿರಾಕರಿಸುವುದು ನಿಜವಾದ ಉತ್ಪನ್ನ ಸಮಸ್ಯೆ. ಬಳಕೆದಾರರು ಅನುಮಾನಾಸ್ಪದ ತುಂಟಗಳಂತೆ ನಡೆಸಿಕೊಳ್ಳುವುದನ್ನು ಇಷ್ಟಪಡುವುದಿಲ್ಲ. 🧌 (ಅವರು ಅನುಮಾನಾಸ್ಪದ ತುಂಟರಾಗಿದ್ದರೂ ಸಹ.)
9) ವೆಚ್ಚ, ಸುಪ್ತತೆ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಯ ವಾಸ್ತವ - ಎಲ್ಲರೂ ಮರೆತುಬಿಡುವ ಮೌಲ್ಯಮಾಪನ 💸⏱️
ಒಂದು ಮಾದರಿ "ಅದ್ಭುತ"ವಾಗಿರಬಹುದು ಮತ್ತು ಅದು ನಿಧಾನವಾಗಿದ್ದರೆ, ದುಬಾರಿಯಾಗಿದ್ದರೆ ಅಥವಾ ಕಾರ್ಯಾಚರಣೆಯಲ್ಲಿ ದುರ್ಬಲವಾಗಿದ್ದರೆ ಅದು ನಿಮಗೆ ತಪ್ಪಾಗಿರಬಹುದು.
ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ:
-
ಸುಪ್ತತೆ ವಿತರಣೆ (ಕೇವಲ ಸರಾಸರಿ ಅಲ್ಲ - p95 ಮತ್ತು p99 ಮುಖ್ಯ) (ಶೇಕಡಾವಾರುಗಳು ಏಕೆ ಮುಖ್ಯ: ಮೇಲ್ವಿಚಾರಣೆಯ ಕುರಿತು Google SRE ಕಾರ್ಯಪುಸ್ತಕ )
-
ಪ್ರತಿ ಯಶಸ್ವಿ ಕಾರ್ಯಕ್ಕೆ ವೆಚ್ಚ (ಪ್ರತ್ಯೇಕವಾಗಿ ಪ್ರತಿ ಟೋಕನ್ಗೆ ವೆಚ್ಚವಲ್ಲ)
-
ಹೊರೆಯ ಅಡಿಯಲ್ಲಿ ಸ್ಥಿರತೆ (ಸಮಯ ಮೀರುವಿಕೆಗಳು, ದರ ಮಿತಿಗಳು, ಅಸಂಗತ ಸ್ಪೈಕ್ಗಳು)
-
ಉಪಕರಣ ಕರೆಯ ವಿಶ್ವಾಸಾರ್ಹತೆ (ಅದು ಕಾರ್ಯಗಳನ್ನು ಬಳಸಿದರೆ, ಅದು ವರ್ತಿಸುತ್ತದೆಯೇ)
-
ಔಟ್ಪುಟ್ ಉದ್ದದ ಪ್ರವೃತ್ತಿಗಳು (ಕೆಲವು ಮಾದರಿಗಳು ಸುತ್ತಾಡುತ್ತವೆ, ಮತ್ತು ಸುತ್ತಾಡಲು ಹಣ ಖರ್ಚಾಗುತ್ತದೆ)
ಎರಡು ಪಟ್ಟು ವೇಗದ, ಸ್ವಲ್ಪ ಕೆಟ್ಟ ಮಾದರಿಯು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಗೆಲ್ಲಬಹುದು. ಅದು ಸ್ಪಷ್ಟವಾಗಿ ತೋರುತ್ತದೆಯಾದರೂ, ಜನರು ಅದನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತಾರೆ. ದಿನಸಿ ಅಂಗಡಿಗೆ ಸ್ಪೋರ್ಟ್ಸ್ ಕಾರನ್ನು ಖರೀದಿಸಿ, ನಂತರ ಟ್ರಂಕ್ ಜಾಗದ ಬಗ್ಗೆ ದೂರು ನೀಡುವ ಹಾಗೆ.
10) ನೀವು ನಕಲಿಸಬಹುದಾದ (ಮತ್ತು ತಿರುಚಬಹುದಾದ) ಸರಳವಾದ ಅಂತ್ಯದಿಂದ ಕೊನೆಯವರೆಗಿನ ಕೆಲಸದ ಹರಿವು 🔁✅
ಅಂತ್ಯವಿಲ್ಲದ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಸಿಲುಕಿಕೊಳ್ಳದೆ AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಎಂಬುದರ ಪ್ರಾಯೋಗಿಕ ಹರಿವು ಇಲ್ಲಿದೆ
-
ಯಶಸ್ಸನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ : ಕಾರ್ಯ, ನಿರ್ಬಂಧಗಳು, ವೈಫಲ್ಯದ ವೆಚ್ಚಗಳು
-
ಒಂದು ಸಣ್ಣ "ಕೋರ್" ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ರಚಿಸಿ : ನೈಜ ಬಳಕೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ 50-200 ಉದಾಹರಣೆಗಳು.
-
ಅಂಚಿನ ಮತ್ತು ವಿರೋಧಿ ಸೆಟ್ಗಳನ್ನು ಸೇರಿಸಿ : ಇಂಜೆಕ್ಷನ್ ಪ್ರಯತ್ನಗಳು, ಅಸ್ಪಷ್ಟ ಪ್ರಾಂಪ್ಟ್ಗಳು, ಸುರಕ್ಷತಾ ಪ್ರೋಬ್ಗಳು (ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ವರ್ಗ: OWASP LLM01 )
-
ಸ್ವಯಂಚಾಲಿತ ಪರಿಶೀಲನೆಗಳನ್ನು ಚಲಾಯಿಸಿ : ಫಾರ್ಮ್ಯಾಟಿಂಗ್, JSON ಸಿಂಧುತ್ವ, ಸಾಧ್ಯವಾದಲ್ಲೆಲ್ಲಾ ಮೂಲ ನಿಖರತೆ
-
ಮಾನವ ವಿಮರ್ಶೆಯನ್ನು ಚಲಾಯಿಸಿ : ವರ್ಗಗಳಾದ್ಯಂತ ಮಾದರಿ ಔಟ್ಪುಟ್ಗಳು, ರೂಬ್ರಿಕ್ನೊಂದಿಗೆ ಸ್ಕೋರ್ ಮಾಡಿ
-
ಹೋಲಿಕೆಗಳು : ಗುಣಮಟ್ಟ vs ವೆಚ್ಚ vs ಸುಪ್ತತೆ vs ಸುರಕ್ಷತೆ
-
ಸೀಮಿತ ಬಿಡುಗಡೆಯಲ್ಲಿ ಪೈಲಟ್ : ಎ/ಬಿ ಪರೀಕ್ಷೆಗಳು ಅಥವಾ ಹಂತ ಹಂತದ ರೋಲ್ಔಟ್ (ಎ/ಬಿ ಪರೀಕ್ಷಾ ಮಾರ್ಗದರ್ಶಿ: ಕೊಹವಿ ಮತ್ತು ಇತರರು. )
-
ಉತ್ಪಾದನೆಯಲ್ಲಿ ಮೇಲ್ವಿಚಾರಣೆ : ಡ್ರಿಫ್ಟ್, ಹಿಂಜರಿತಗಳು, ಬಳಕೆದಾರರ ಪ್ರತಿಕ್ರಿಯೆ ಕುಣಿಕೆಗಳು (ಡ್ರಿಫ್ಟ್ ಅವಲೋಕನ: ಪರಿಕಲ್ಪನೆ ಡ್ರಿಫ್ಟ್ ಸಮೀಕ್ಷೆ (PMC) )
-
ಪುನರಾವರ್ತನೆ : ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ನವೀಕರಿಸಿ, ಮರುಪಡೆಯುವಿಕೆ, ಫೈನ್-ಟ್ಯೂನಿಂಗ್, ಗಾರ್ಡ್ರೈಲ್ಗಳು, ನಂತರ ಇವಾಲ್ ಅನ್ನು ಮರು-ರನ್ ಮಾಡಿ (ಪರೀಕ್ಷೆ ಪುನರಾವರ್ತನೆ ಮಾದರಿಗಳು: ಓಪನ್ಎಐ ಇವಾಲ್ಸ್ ಮಾರ್ಗದರ್ಶಿ )
ಆವೃತ್ತಿಯ ಲಾಗ್ಗಳನ್ನು ಇಟ್ಟುಕೊಳ್ಳಿ. ಅದು ಖುಷಿ ಕೊಡುತ್ತದೆ ಎಂಬ ಕಾರಣಕ್ಕಾಗಿ ಅಲ್ಲ, ಬದಲಿಗೆ ಭವಿಷ್ಯದಲ್ಲಿ - ಕಾಫಿ ಹಿಡಿದುಕೊಂಡು "ಏನು ಬದಲಾಗಿದೆ..." ಎಂದು ಗೊಣಗುತ್ತಾ ನೀವು ನಿಮಗೆ ಧನ್ಯವಾದ ಹೇಳುತ್ತೀರಿ ಎಂಬ ಕಾರಣಕ್ಕಾಗಿ ☕🙂
11) ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು (ಅಂದರೆ: ಜನರು ಆಕಸ್ಮಿಕವಾಗಿ ತಮ್ಮನ್ನು ತಾವು ಮೋಸಗೊಳಿಸುವ ವಿಧಾನಗಳು) 🪤
-
ಪರೀಕ್ಷೆಗೆ ತರಬೇತಿ : ಮಾನದಂಡವು ಉತ್ತಮವಾಗಿ ಕಾಣುವವರೆಗೆ ನೀವು ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸಬಹುದು, ಆದರೆ ಬಳಕೆದಾರರು ಬಳಲುತ್ತಿದ್ದಾರೆ.
-
ಸೋರುವ ಮೌಲ್ಯಮಾಪನ ಡೇಟಾ : ಪರೀಕ್ಷಾ ಪ್ರಾಂಪ್ಟ್ಗಳು ತರಬೇತಿ ಅಥವಾ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಡೇಟಾದಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತವೆ (ಓಹ್)
-
ಏಕ ಮೆಟ್ರಿಕ್ ಪೂಜೆ : ಬಳಕೆದಾರ ಮೌಲ್ಯವನ್ನು ಪ್ರತಿಬಿಂಬಿಸದ ಒಂದು ಸ್ಕೋರ್ ಅನ್ನು ಬೆನ್ನಟ್ಟುವುದು
-
ವಿತರಣಾ ಬದಲಾವಣೆಯನ್ನು ನಿರ್ಲಕ್ಷಿಸುವುದು : ಬಳಕೆದಾರರ ನಡವಳಿಕೆ ಬದಲಾಗುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ಮಾದರಿ ಸದ್ದಿಲ್ಲದೆ ಕ್ಷೀಣಿಸುತ್ತದೆ (ಉತ್ಪಾದನಾ ಅಪಾಯದ ಚೌಕಟ್ಟು: ಪರಿಕಲ್ಪನೆ ದಿಕ್ಚ್ಯುತಿ ಸಮೀಕ್ಷೆ (PMC) )
-
“ಬುದ್ಧಿವಂತಿಕೆ”ಯ ಮೇಲೆ ಅತಿಯಾದ ಸೂಚ್ಯಂಕ : ಚತುರ ತಾರ್ಕಿಕತೆಯು ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಅನ್ನು ಮುರಿದರೂ ಅಥವಾ ಸತ್ಯಗಳನ್ನು ಕಂಡುಹಿಡಿದರೂ ಪರವಾಗಿಲ್ಲ.
-
ನಿರಾಕರಣೆ ಗುಣಮಟ್ಟವನ್ನು ಪರೀಕ್ಷಿಸುತ್ತಿಲ್ಲ : "ಇಲ್ಲ" ಎಂಬುದು ಸರಿಯಾಗಿರಬಹುದು ಆದರೆ ಇನ್ನೂ ಭಯಾನಕ UX
ಅಲ್ಲದೆ, ಡೆಮೊಗಳ ಬಗ್ಗೆ ಎಚ್ಚರದಿಂದಿರಿ. ಡೆಮೊಗಳು ಚಲನಚಿತ್ರ ಟ್ರೇಲರ್ಗಳಂತೆ. ಅವು ಮುಖ್ಯಾಂಶಗಳನ್ನು ತೋರಿಸುತ್ತವೆ, ನಿಧಾನಗತಿಯ ಭಾಗಗಳನ್ನು ಮರೆಮಾಡುತ್ತವೆ ಮತ್ತು ಸಾಂದರ್ಭಿಕವಾಗಿ ನಾಟಕೀಯ ಸಂಗೀತದೊಂದಿಗೆ ಇರುತ್ತವೆ. 🎬
12) AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಎಂಬುದರ ಕುರಿತು ಮುಕ್ತಾಯ ಸಾರಾಂಶ 🧠✨
AI ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಒಂದೇ ಅಂಕವಲ್ಲ, ಅದು ಸಮತೋಲಿತ ಊಟ. ನಿಮಗೆ ಪ್ರೋಟೀನ್ (ಸರಿಯಾದತೆ), ತರಕಾರಿಗಳು (ಸುರಕ್ಷತೆ), ಕಾರ್ಬೋಹೈಡ್ರೇಟ್ಗಳು (ವೇಗ ಮತ್ತು ವೆಚ್ಚ), ಮತ್ತು ಹೌದು, ಕೆಲವೊಮ್ಮೆ ಸಿಹಿತಿಂಡಿ (ಟೋನ್ ಮತ್ತು ಆನಂದ) 🍲🍰 (ಅಪಾಯ ಚೌಕಟ್ಟು: NIST AI RMF 1.0 )
ನಿಮಗೆ ಬೇರೆ ಏನೂ ನೆನಪಿಲ್ಲದಿದ್ದರೆ:
-
ನಿಮ್ಮ ಬಳಕೆಯ ಸಂದರ್ಭಕ್ಕೆ "ಒಳ್ಳೆಯದು" ಎಂದರೆ ಏನೆಂದು ವಿವರಿಸಿ
-
ಪ್ರಸಿದ್ಧ ಮಾನದಂಡಗಳನ್ನು ಮಾತ್ರವಲ್ಲದೆ, ಪ್ರತಿನಿಧಿ ಪರೀಕ್ಷಾ ಸೆಟ್ಗಳನ್ನು ಬಳಸಿ
-
ಸ್ವಯಂಚಾಲಿತ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಮಾನವ ರೂಬ್ರಿಕ್ ವಿಮರ್ಶೆಯೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ
-
ಬಳಕೆದಾರರು ಪ್ರತಿಕೂಲರಾಗಿರುವಂತೆ (ಏಕೆಂದರೆ ಕೆಲವೊಮ್ಮೆ... ಅವರು) ದೃಢತೆ ಮತ್ತು ಸುರಕ್ಷತೆಯನ್ನು ಪರೀಕ್ಷಿಸಿ (ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ ವರ್ಗ: OWASP LLM01 )
-
ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ ವೆಚ್ಚ ಮತ್ತು ವಿಳಂಬವನ್ನು ನಂತರದ ಚಿಂತನೆಯಂತೆ ಸೇರಿಸಬೇಡಿ (ಶೇಕಡಾವಾರುಗಳು ಏಕೆ ಮುಖ್ಯ: Google SRE ಕಾರ್ಯಪುಸ್ತಕ )
-
ಬಿಡುಗಡೆಯ ನಂತರ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ - ಮಾದರಿಗಳು ಚಲಿಸುತ್ತವೆ, ಅಪ್ಲಿಕೇಶನ್ಗಳು ವಿಕಸನಗೊಳ್ಳುತ್ತವೆ, ಮಾನವರು ಸೃಜನಶೀಲರಾಗುತ್ತಾರೆ (ಡ್ರಿಫ್ಟ್ ಅವಲೋಕನ: ಪರಿಕಲ್ಪನೆ ಚಲಿಸುವ ಸಮೀಕ್ಷೆ (PMC) )
ನಿಮ್ಮ ಉತ್ಪನ್ನವು ಲೈವ್ ಆಗಿರುವಾಗ ಮತ್ತು ಜನರು ಅನಿರೀಕ್ಷಿತ ಜನರ ಕೆಲಸಗಳನ್ನು ಮಾಡಲು ಪ್ರಾರಂಭಿಸಿದಾಗ AI ಮಾದರಿಗಳನ್ನು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಇಲ್ಲಿದೆ
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
ನಿಜವಾದ ಉತ್ಪನ್ನಕ್ಕಾಗಿ AI ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವಲ್ಲಿ ಮೊದಲ ಹೆಜ್ಜೆ ಏನು?
ನಿಮ್ಮ ನಿರ್ದಿಷ್ಟ ಬಳಕೆಯ ಸಂದರ್ಭಕ್ಕೆ "ಒಳ್ಳೆಯದು" ಎಂದರೆ ಏನು ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸುವ ಮೂಲಕ ಪ್ರಾರಂಭಿಸಿ. ಬಳಕೆದಾರರ ಗುರಿ, ವೈಫಲ್ಯಗಳು ನಿಮಗೆ ಯಾವ ವೆಚ್ಚವನ್ನುಂಟುಮಾಡುತ್ತವೆ (ಕಡಿಮೆ-ಹಕ್ಕುಗಳು vs ಹೆಚ್ಚಿನ-ಹಕ್ಕುಗಳು), ಮತ್ತು ಮಾದರಿ ಎಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ (ಕ್ಲೌಡ್, ಆನ್-ಡಿವೈಸ್, ನಿಯಂತ್ರಿತ ಪರಿಸರ) ಎಂಬುದನ್ನು ವಿವರಿಸಿ. ನಂತರ ವಿಳಂಬ, ವೆಚ್ಚ, ಗೌಪ್ಯತೆ ಮತ್ತು ಟೋನ್ ನಿಯಂತ್ರಣದಂತಹ ಕಠಿಣ ನಿರ್ಬಂಧಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ. ಈ ಅಡಿಪಾಯವಿಲ್ಲದೆ, ನೀವು ಬಹಳಷ್ಟು ಅಳೆಯುತ್ತೀರಿ ಮತ್ತು ಇನ್ನೂ ಕೆಟ್ಟ ನಿರ್ಧಾರವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತೀರಿ.
ನನ್ನ ಬಳಕೆದಾರರನ್ನು ನಿಜವಾಗಿಯೂ ಪ್ರತಿಬಿಂಬಿಸುವ ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ನಾನು ಹೇಗೆ ನಿರ್ಮಿಸುವುದು?
ಸಾರ್ವಜನಿಕ ಮಾನದಂಡವಲ್ಲದೆ, ನಿಜವಾಗಿಯೂ ನಿಮ್ಮದೇ ಆದ ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು ನಿರ್ಮಿಸಿ. ನೀವು ಹೆಮ್ಮೆಯಿಂದ ರವಾನಿಸುವ ಸುವರ್ಣ ಉದಾಹರಣೆಗಳನ್ನು, ಜೊತೆಗೆ ಟೈಪೊಗಳು, ಅರ್ಧ ವಾಕ್ಯಗಳು ಮತ್ತು ಅಸ್ಪಷ್ಟ ವಿನಂತಿಗಳೊಂದಿಗೆ ಗದ್ದಲದ, ಪ್ರಕೃತಿಯಲ್ಲಿಯೇ ಇರುವ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಸೇರಿಸಿ. ಭ್ರಮೆಗಳು ಅಥವಾ ಅಸುರಕ್ಷಿತ ಉತ್ತರಗಳನ್ನು ಪ್ರಚೋದಿಸುವ ಅಂಚಿನ ಪ್ರಕರಣಗಳು ಮತ್ತು ವೈಫಲ್ಯ-ಮೋಡ್ ಪ್ರೋಬ್ಗಳನ್ನು ಸೇರಿಸಿ. ಕೌಶಲ್ಯ ಮಟ್ಟ, ಉಪಭಾಷೆಗಳು, ಭಾಷೆಗಳು ಮತ್ತು ಡೊಮೇನ್ಗಳಲ್ಲಿ ವೈವಿಧ್ಯತೆಯನ್ನು ಕವರ್ ಮಾಡಿ ಇದರಿಂದ ಫಲಿತಾಂಶಗಳು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಕುಸಿಯುವುದಿಲ್ಲ.
ನಾನು ಯಾವ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಬಳಸಬೇಕು, ಮತ್ತು ಯಾವ ಮೆಟ್ರಿಕ್ಗಳು ದಾರಿತಪ್ಪಿಸಬಹುದು?
ಕಾರ್ಯ ಪ್ರಕಾರಕ್ಕೆ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಹೊಂದಿಸಿ. ನಿಖರವಾದ ಹೊಂದಾಣಿಕೆ ಮತ್ತು ನಿಖರತೆಯು ಹೊರತೆಗೆಯುವಿಕೆ ಮತ್ತು ರಚನಾತ್ಮಕ ಔಟ್ಪುಟ್ಗಳಿಗೆ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಆದರೆ ನಿಖರತೆ/ಮರುಸ್ಥಾಪನೆ ಮತ್ತು F1 ಏನನ್ನಾದರೂ ತಪ್ಪಿಸಿಕೊಂಡಾಗ ಹೆಚ್ಚುವರಿ ಶಬ್ದಕ್ಕಿಂತ ಕೆಟ್ಟದಾಗಿ ಸಹಾಯ ಮಾಡುತ್ತದೆ. BLEU/ROUGE ನಂತಹ ಓವರ್ಲ್ಯಾಪ್ ಮೆಟ್ರಿಕ್ಗಳು ಮುಕ್ತ-ಮುಕ್ತ ಕಾರ್ಯಗಳಿಗೆ ದಾರಿ ತಪ್ಪಿಸಬಹುದು ಮತ್ತು ಹೋಲಿಕೆಯನ್ನು ಎಂಬೆಡ್ ಮಾಡುವುದರಿಂದ "ತಪ್ಪು ಆದರೆ ಒಂದೇ ರೀತಿಯ" ಉತ್ತರಗಳಿಗೆ ಪ್ರತಿಫಲ ಸಿಗುತ್ತದೆ. ಬರವಣಿಗೆ, ಬೆಂಬಲ ಅಥವಾ ತಾರ್ಕಿಕತೆಗಾಗಿ, ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಮಾನವ ವಿಮರ್ಶೆ ಮತ್ತು ಕಾರ್ಯ ಯಶಸ್ಸಿನ ದರಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ.
ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಪುನರಾವರ್ತನೀಯವಾಗಿ ಮತ್ತು ಉತ್ಪಾದನಾ ದರ್ಜೆಯಾಗಿರಿಸಲು ನಾನು ಹೇಗೆ ರಚಿಸಬೇಕು?
ದೃಢವಾದ ಮೌಲ್ಯಮಾಪನ ಚೌಕಟ್ಟು ಪುನರಾವರ್ತನೀಯ, ಪ್ರತಿನಿಧಿ, ಬಹು-ಪದರ ಮತ್ತು ಕಾರ್ಯಸಾಧ್ಯವಾಗಿದೆ. ಸ್ವಯಂಚಾಲಿತ ಪರಿಶೀಲನೆಗಳನ್ನು (ಸ್ವರೂಪ, JSON ಸಿಂಧುತ್ವ, ಮೂಲ ಸರಿಯಾಗಿರುವಿಕೆ) ಮಾನವ ರೂಬ್ರಿಕ್ ಸ್ಕೋರಿಂಗ್ ಮತ್ತು ಪ್ರತಿಕೂಲ ಪರೀಕ್ಷೆಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ. ಸೋರಿಕೆಯನ್ನು ತಪ್ಪಿಸುವ ಮೂಲಕ ಮತ್ತು "ಪರೀಕ್ಷೆಗೆ ಕಲಿಸುವ" ಮೂಲಕ ಅದನ್ನು ಟ್ಯಾಂಪರ್-ನಿರೋಧಕವಾಗಿಸಿ. ಮೌಲ್ಯಮಾಪನವನ್ನು ವೆಚ್ಚ-ಅರಿವುಳ್ಳದ್ದಾಗಿ ಇರಿಸಿ ಇದರಿಂದ ನೀವು ಅದನ್ನು ಪ್ರಾರಂಭಿಸುವ ಮೊದಲು ಒಮ್ಮೆ ಅಲ್ಲ, ಆಗಾಗ್ಗೆ ಮರು-ರನ್ ಮಾಡಬಹುದು.
ಮಾನವ ಮೌಲ್ಯಮಾಪನವು ಅವ್ಯವಸ್ಥೆಯಾಗಿ ಬದಲಾಗದಂತೆ ಮಾಡಲು ಉತ್ತಮ ಮಾರ್ಗ ಯಾವುದು?
ವಿಮರ್ಶಕರು ಫ್ರೀಸ್ಟೈಲ್ ಮಾಡದಂತೆ ಕಾಂಕ್ರೀಟ್ ರೂಬ್ರಿಕ್ ಬಳಸಿ. ಸರಿಯಾದತೆ, ಸಂಪೂರ್ಣತೆ, ಸ್ಪಷ್ಟತೆ, ಸುರಕ್ಷತೆ/ನೀತಿ ನಿರ್ವಹಣೆ, ಶೈಲಿ/ಧ್ವನಿ ಹೊಂದಾಣಿಕೆ ಮತ್ತು ನಿಷ್ಠೆ (ಹಕ್ಕುಗಳು ಅಥವಾ ಮೂಲಗಳನ್ನು ಆವಿಷ್ಕರಿಸದಿರುವುದು) ಮುಂತಾದ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಸ್ಕೋರ್ ಮಾಡಿ. ನಿಯತಕಾಲಿಕವಾಗಿ ಅಂತರ-ರೇಟರ್ ಒಪ್ಪಂದವನ್ನು ಪರಿಶೀಲಿಸಿ; ವಿಮರ್ಶಕರು ನಿರಂತರವಾಗಿ ಭಿನ್ನಾಭಿಪ್ರಾಯ ಹೊಂದಿದ್ದರೆ, ರೂಬ್ರಿಕ್ಗೆ ಪರಿಷ್ಕರಣೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ. ಸ್ವರ ಅಸಾಮರಸ್ಯ, ಸೂಕ್ಷ್ಮ ವಾಸ್ತವಿಕ ದೋಷಗಳು ಮತ್ತು ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸುವ ವೈಫಲ್ಯಗಳಿಗೆ ಮಾನವ ವಿಮರ್ಶೆಯು ವಿಶೇಷವಾಗಿ ಮೌಲ್ಯಯುತವಾಗಿದೆ.
ಸುರಕ್ಷತೆ, ದೃಢತೆ ಮತ್ತು ತ್ವರಿತ ಇಂಜೆಕ್ಷನ್ ಅಪಾಯಗಳನ್ನು ನಾನು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು?
“ಉಫ್, ಬಳಕೆದಾರರು” ಇನ್ಪುಟ್ಗಳೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಿ: ಟೈಪೊಗಳು, ಆಡುಭಾಷೆ, ಸಂಘರ್ಷದ ಸೂಚನೆಗಳು, ಬಹಳ ದೀರ್ಘ ಅಥವಾ ಬಹಳ ಚಿಕ್ಕ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ಬಹು-ತಿರುವು ಗುರಿ ಬದಲಾವಣೆಗಳು. “ಹಿಂದಿನ ನಿಯಮಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಿ” ಮತ್ತು ಎಚ್ಚರಿಕೆಯಿಂದ ನಿರಾಕರಿಸುವ ಅಗತ್ಯವಿರುವ ಸೂಕ್ಷ್ಮ ವಿಷಯಗಳಂತಹ ತ್ವರಿತ ಇಂಜೆಕ್ಷನ್ ಪ್ರಯತ್ನಗಳನ್ನು ಸೇರಿಸಿ. ಉತ್ತಮ ಸುರಕ್ಷತಾ ಕಾರ್ಯಕ್ಷಮತೆ ಎಂದರೆ ನಿರಾಕರಿಸುವುದು ಮಾತ್ರವಲ್ಲ - ಅದು ಸ್ಪಷ್ಟವಾಗಿ ನಿರಾಕರಿಸುವುದು, ಸೂಕ್ತವಾದಾಗ ಸುರಕ್ಷಿತ ಪರ್ಯಾಯಗಳನ್ನು ನೀಡುವುದು ಮತ್ತು UX ಗೆ ಹಾನಿ ಮಾಡುವ ನಿರುಪದ್ರವ ಪ್ರಶ್ನೆಗಳನ್ನು ಅತಿಯಾಗಿ ನಿರಾಕರಿಸುವುದನ್ನು ತಪ್ಪಿಸುವುದು.
ವಾಸ್ತವಕ್ಕೆ ಹೊಂದಿಕೆಯಾಗುವ ರೀತಿಯಲ್ಲಿ ವೆಚ್ಚ ಮತ್ತು ವಿಳಂಬವನ್ನು ನಾನು ಹೇಗೆ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು?
ಸರಾಸರಿಗಳನ್ನು ಮಾತ್ರ ಅಳೆಯಬೇಡಿ - ವಿಶೇಷವಾಗಿ p95 ಮತ್ತು p99 ರ ವಿಳಂಬ ವಿತರಣೆಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ. ಪ್ರತಿ ಟೋಕನ್ಗೆ ವೆಚ್ಚವನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಅಲ್ಲ, ಪ್ರತಿ ಯಶಸ್ವಿ ಕಾರ್ಯಕ್ಕೆ ವೆಚ್ಚವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ, ಏಕೆಂದರೆ ಮರುಪ್ರಯತ್ನಗಳು ಮತ್ತು ಸುತ್ತುವರಿದ ಔಟ್ಪುಟ್ಗಳು ಉಳಿತಾಯವನ್ನು ಅಳಿಸಬಹುದು. ಲೋಡ್ ಅಡಿಯಲ್ಲಿ ಸ್ಥಿರತೆಯನ್ನು ಪರೀಕ್ಷಿಸಿ (ಸಮಯ ಮೀರುವಿಕೆಗಳು, ದರ ಮಿತಿಗಳು, ಸ್ಪೈಕ್ಗಳು) ಮತ್ತು ಉಪಕರಣ/ಕಾರ್ಯ ಕರೆ ವಿಶ್ವಾಸಾರ್ಹತೆ. ಎರಡು ಪಟ್ಟು ವೇಗವಾಗಿ ಅಥವಾ ಹೆಚ್ಚು ಸ್ಥಿರವಾಗಿರುವ ಸ್ವಲ್ಪ ಕೆಟ್ಟ ಮಾದರಿಯು ಉತ್ತಮ ಉತ್ಪನ್ನ ಆಯ್ಕೆಯಾಗಿರಬಹುದು.
AI ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಸರಳವಾದ ಕೊನೆಯಿಂದ ಕೊನೆಯವರೆಗಿನ ಕೆಲಸದ ಹರಿವು ಯಾವುದು?
ಯಶಸ್ಸಿನ ಮಾನದಂಡಗಳು ಮತ್ತು ನಿರ್ಬಂಧಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ, ನಂತರ ನೈಜ ಬಳಕೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ಸಣ್ಣ ಕೋರ್ ಪರೀಕ್ಷಾ ಸೆಟ್ ಅನ್ನು (ಸರಿಸುಮಾರು 50–200 ಉದಾಹರಣೆಗಳು) ರಚಿಸಿ. ಸುರಕ್ಷತೆ ಮತ್ತು ಇಂಜೆಕ್ಷನ್ ಪ್ರಯತ್ನಗಳಿಗಾಗಿ ಅಂಚಿನ ಮತ್ತು ವಿರೋಧಿ ಸೆಟ್ಗಳನ್ನು ಸೇರಿಸಿ. ಸ್ವಯಂಚಾಲಿತ ಪರಿಶೀಲನೆಗಳನ್ನು ಚಲಾಯಿಸಿ, ನಂತರ ಮಾನವ ರೂಬ್ರಿಕ್ ಸ್ಕೋರಿಂಗ್ಗಾಗಿ ಮಾದರಿ ಔಟ್ಪುಟ್ಗಳನ್ನು ಚಲಾಯಿಸಿ. ಗುಣಮಟ್ಟ vs ವೆಚ್ಚ vs ಲೇಟೆನ್ಸಿ vs ಸುರಕ್ಷತೆ, ಪೈಲಟ್ ಅನ್ನು ಸೀಮಿತ ರೋಲ್ಔಟ್ನೊಂದಿಗೆ ಅಥವಾ A/B ಪರೀಕ್ಷೆಯೊಂದಿಗೆ ಹೋಲಿಕೆ ಮಾಡಿ ಮತ್ತು ಡ್ರಿಫ್ಟ್ ಮತ್ತು ಹಿಂಜರಿತಗಳಿಗಾಗಿ ಉತ್ಪಾದನೆಯಲ್ಲಿ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ.
ಮಾದರಿ ಮೌಲ್ಯಮಾಪನದಲ್ಲಿ ತಂಡಗಳು ಆಕಸ್ಮಿಕವಾಗಿ ತಮ್ಮನ್ನು ತಾವು ಮೂರ್ಖರನ್ನಾಗಿಸಿಕೊಳ್ಳುವ ಸಾಮಾನ್ಯ ವಿಧಾನಗಳು ಯಾವುವು?
ಬಳಕೆದಾರರು ಬಳಲುತ್ತಿರುವಾಗ ಮಾನದಂಡವನ್ನು ಹೆಚ್ಚಿಸಲು ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸುವುದು, ಮೌಲ್ಯಮಾಪನ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ತರಬೇತಿ ಅಥವಾ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಡೇಟಾಗೆ ಸೋರಿಕೆ ಮಾಡುವುದು ಮತ್ತು ಬಳಕೆದಾರ ಮೌಲ್ಯವನ್ನು ಪ್ರತಿಬಿಂಬಿಸದ ಒಂದೇ ಮೆಟ್ರಿಕ್ ಅನ್ನು ಪೂಜಿಸುವುದು ಸಾಮಾನ್ಯ ಬಲೆಗಳಲ್ಲಿ ಸೇರಿವೆ. ತಂಡಗಳು ವಿತರಣಾ ಬದಲಾವಣೆಯನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತವೆ, ಸ್ವರೂಪ ಅನುಸರಣೆ ಮತ್ತು ನಿಷ್ಠೆಯ ಬದಲಿಗೆ "ಸ್ಮಾರ್ಟ್ನೆಸ್" ನಲ್ಲಿ ಓವರ್-ಇಂಡೆಕ್ಸ್ ಮತ್ತು ನಿರಾಕರಣೆ ಗುಣಮಟ್ಟ ಪರೀಕ್ಷೆಯನ್ನು ಬಿಟ್ಟುಬಿಡುತ್ತವೆ. ಡೆಮೊಗಳು ಈ ಸಮಸ್ಯೆಗಳನ್ನು ಮರೆಮಾಡಬಹುದು, ಆದ್ದರಿಂದ ರೀಲ್ಗಳನ್ನು ಹೈಲೈಟ್ ಮಾಡುವ ಬದಲು ರಚನಾತ್ಮಕ ಇವಾಲ್ಗಳನ್ನು ಅವಲಂಬಿಸಬಹುದು.
ಉಲ್ಲೇಖಗಳು
-
OpenAI - OpenAI ಮೌಲ್ಯಮಾಪನ ಮಾರ್ಗದರ್ಶಿ - platform.openai.com
-
ರಾಷ್ಟ್ರೀಯ ಗುಣಮಟ್ಟ ಮತ್ತು ತಂತ್ರಜ್ಞಾನ ಸಂಸ್ಥೆ (NIST) - AI ಅಪಾಯ ನಿರ್ವಹಣಾ ಚೌಕಟ್ಟು (AI RMF 1.0) - nist.gov
-
ಓಪನ್ಎಐ - ಓಪನ್ಎಐ/ಇವಲ್ಗಳು (ಗಿಟ್ಹಬ್ ರೆಪೊಸಿಟರಿ) - ಗಿಥಬ್.ಕಾಮ್
-
scikit-ಕಲಿಕೆ - precision_recall_fscore_support - scikit-learn.org
-
ಅಸೋಸಿಯೇಷನ್ ಫಾರ್ ಕಂಪ್ಯೂಟೇಶನಲ್ ಲಿಂಗ್ವಿಸ್ಟಿಕ್ಸ್ (ACL ಆಂಥಾಲಜಿ) - BLEU - aclanthology.org
-
ಅಸೋಸಿಯೇಷನ್ ಫಾರ್ ಕಂಪ್ಯೂಟೇಶನಲ್ ಲಿಂಗ್ವಿಸ್ಟಿಕ್ಸ್ (ACL ಆಂಥಾಲಜಿ) - ROUGE - aclanthology.org
-
ಆರ್ಕ್ಸಿವ್ - ಜಿ-ಇವಾಲ್ - arxiv.org
-
OWASP - LLM01: ಪ್ರಾಂಪ್ಟ್ ಇಂಜೆಕ್ಷನ್ - owasp.org
-
OWASP - ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿ ಅನ್ವಯಿಕೆಗಳಿಗೆ OWASP ಟಾಪ್ 10 - owasp.org
-
ಸ್ಟ್ಯಾನ್ಫೋರ್ಡ್ ವಿಶ್ವವಿದ್ಯಾಲಯ - ಕೊಹಾವಿ ಮತ್ತು ಇತರರು, “ವೆಬ್ನಲ್ಲಿ ನಿಯಂತ್ರಿತ ಪ್ರಯೋಗಗಳು” - stanford.edu
-
arXiv - RAG ಮೌಲ್ಯಮಾಪನ: ಒಂದು ಸಮೀಕ್ಷೆ - arxiv.org
-
ಪಬ್ಮೆಡ್ ಸೆಂಟ್ರಲ್ (PMC) - ಪರಿಕಲ್ಪನೆಯ ದಿಕ್ಚ್ಯುತಿ ಸಮೀಕ್ಷೆ (PMC) - nih.gov
-
ಪಬ್ಮೆಡ್ ಸೆಂಟ್ರಲ್ (PMC) - ಮೆಕ್ಹಗ್ ಆನ್ ಕೋಹೆನ್ಸ್ ಕಪ್ಪಾ - nih.gov
-
ಗೂಗಲ್ - ಮೇಲ್ವಿಚಾರಣೆಯ ಕುರಿತು SRE ಕಾರ್ಯಪುಸ್ತಕ - google.workbook