ಸಣ್ಣ ಉತ್ತರ: AI ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುವುದಿಲ್ಲ; ಇದು SQL ಡ್ರಾಫ್ಟಿಂಗ್, ಪೈಪ್ಲೈನ್ ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್, ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ದಸ್ತಾವೇಜೀಕರಣದಂತಹ ಪುನರಾವರ್ತಿತ ಕೆಲಸವನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತದೆ. ನಿಮ್ಮ ಪಾತ್ರವು ಹೆಚ್ಚಾಗಿ ಕಡಿಮೆ-ಮಾಲೀಕತ್ವ, ಟಿಕೆಟ್-ಚಾಲಿತ ಕೆಲಸವಾಗಿದ್ದರೆ, ಅದು ಹೆಚ್ಚು ಬಹಿರಂಗಗೊಳ್ಳುತ್ತದೆ; ನೀವು ವಿಶ್ವಾಸಾರ್ಹತೆ, ವ್ಯಾಖ್ಯಾನಗಳು, ಆಡಳಿತ ಮತ್ತು ಘಟನೆ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಹೊಂದಿದ್ದರೆ, AI ಮುಖ್ಯವಾಗಿ ನಿಮ್ಮನ್ನು ವೇಗವಾಗಿ ಮಾಡುತ್ತದೆ.
ಪ್ರಮುಖ ಅಂಶಗಳು:
ಮಾಲೀಕತ್ವ: ಫಲಿತಾಂಶಗಳಿಗೆ ಹೊಣೆಗಾರಿಕೆಯನ್ನು ಆದ್ಯತೆ ನೀಡಿ, ಕೇವಲ ಕೋಡ್ ಅನ್ನು ತ್ವರಿತವಾಗಿ ಉತ್ಪಾದಿಸುವುದಲ್ಲ.
ಗುಣಮಟ್ಟ: ಪೈಪ್ಲೈನ್ಗಳು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಉಳಿಯುವಂತೆ ಪರೀಕ್ಷೆಗಳು, ವೀಕ್ಷಣೆ ಮತ್ತು ಒಪ್ಪಂದಗಳನ್ನು ನಿರ್ಮಿಸಿ.
ಆಡಳಿತ: ಗೌಪ್ಯತೆ, ಪ್ರವೇಶ ನಿಯಂತ್ರಣ, ಧಾರಣ ಮತ್ತು ಆಡಿಟ್ ಹಾದಿಗಳನ್ನು ಮಾನವ ಸ್ವಾಮ್ಯದಲ್ಲಿರಿಸಿಕೊಳ್ಳಿ.
ದುರುಪಯೋಗ ಪ್ರತಿರೋಧ: AI ಔಟ್ಪುಟ್ಗಳನ್ನು ಕರಡುಗಳಾಗಿ ಪರಿಗಣಿಸಿ; ಖಚಿತವಾದ ತಪ್ಪನ್ನು ತಪ್ಪಿಸಲು ಅವುಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.
ಪಾತ್ರ ಬದಲಾವಣೆ: ಬಾಯ್ಲರ್ಪ್ಲೇಟ್ ಟೈಪ್ ಮಾಡಲು ಕಡಿಮೆ ಸಮಯವನ್ನು ಕಳೆಯಿರಿ ಮತ್ತು ಬಾಳಿಕೆ ಬರುವ ವ್ಯವಸ್ಥೆಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಹೆಚ್ಚು ಸಮಯವನ್ನು ಕಳೆಯಿರಿ.
ನೀವು ಡೇಟಾ ತಂಡಗಳ ಸುತ್ತಲೂ ಐದು ನಿಮಿಷಗಳಿಗಿಂತ ಹೆಚ್ಚು ಸಮಯ ಕಳೆದಿದ್ದರೆ, ನೀವು ಪಲ್ಲವಿಯನ್ನು ಕೇಳಿದ್ದೀರಿ - ಕೆಲವೊಮ್ಮೆ ಪಿಸುಗುಟ್ಟುತ್ತಾರೆ, ಕೆಲವೊಮ್ಮೆ ಕಥಾವಸ್ತುವಿನ ತಿರುವುಗಳಂತೆ ಸಭೆಯಲ್ಲಿ ಪ್ರಾರಂಭಿಸುತ್ತಾರೆ: AI ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
ಮತ್ತು... ನನಗೆ ಅರ್ಥವಾಯಿತು. AI SQL ಅನ್ನು ಉತ್ಪಾದಿಸಬಹುದು, ಪೈಪ್ಲೈನ್ಗಳನ್ನು ನಿರ್ಮಿಸಬಹುದು, ಸ್ಟ್ಯಾಕ್ ಟ್ರೇಸ್ಗಳನ್ನು ವಿವರಿಸಬಹುದು, dbt ಮಾದರಿಗಳನ್ನು ಡ್ರಾಫ್ಟ್ ಮಾಡಬಹುದು, ಗೋದಾಮಿನ ಸ್ಕೀಮಾಗಳನ್ನು ಸಹ ಅಶಾಂತಿಯ ವಿಶ್ವಾಸದಿಂದ ಸೂಚಿಸಬಹುದು. SQL ಗಾಗಿ GitHub Copilot dbt ಮಾದರಿಗಳ ಬಗ್ಗೆ GitHub Copilot
ಫೋರ್ಕ್ಲಿಫ್ಟ್ ಜಗ್ಲಿಂಗ್ ಕಲಿಯುವುದನ್ನು ನೋಡುತ್ತಿರುವಂತೆ ಭಾಸವಾಗುತ್ತದೆ. ಪ್ರಭಾವಶಾಲಿ, ಸ್ವಲ್ಪ ಆತಂಕಕಾರಿ, ಮತ್ತು ನಿಮ್ಮ ಕೆಲಸಕ್ಕೆ ಅದು ಏನನ್ನು ಸೂಚಿಸುತ್ತದೆ ಎಂದು ನಿಮಗೆ ಸಂಪೂರ್ಣವಾಗಿ ಖಚಿತವಿಲ್ಲ 😅
ಆದರೆ ಸತ್ಯವು ಶೀರ್ಷಿಕೆಗಿಂತ ಕಡಿಮೆ ಅಚ್ಚುಕಟ್ಟಾಗಿದೆ. AI ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುತ್ತಿದೆ. ಇದು ಮಂದ, ಪುನರಾವರ್ತನೀಯ ಬಿಟ್ಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತಿದೆ. ಇದು "ನನಗೆ ಏನು ಬೇಕು ಎಂದು ನನಗೆ ತಿಳಿದಿದೆ ಆದರೆ ಸಿಂಟ್ಯಾಕ್ಸ್ ನೆನಪಿಲ್ಲ" ಎಂಬ ಕ್ಷಣಗಳನ್ನು ವೇಗಗೊಳಿಸುತ್ತಿದೆ. ಇದು ಹೊಸ ರೀತಿಯ ಅವ್ಯವಸ್ಥೆಯನ್ನು ಸಹ ಹುಟ್ಟುಹಾಕುತ್ತಿದೆ.
ಹಾಗಾಗಿ ಕೈಯಿಂದ ಅಲೆಯುವ ಆಶಾವಾದ ಅಥವಾ ವಿನಾಶಕಾರಿ ಪ್ಯಾನಿಕ್ ಇಲ್ಲದೆ ಅದನ್ನು ಸರಿಯಾಗಿ ಇಡೋಣ.
ಇದರ ನಂತರ ನೀವು ಓದಲು ಇಷ್ಟಪಡಬಹುದಾದ ಲೇಖನಗಳು:
🔗 AI ವಿಕಿರಣಶಾಸ್ತ್ರಜ್ಞರನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
ಇಮೇಜಿಂಗ್ AI ಕೆಲಸದ ಹರಿವು, ನಿಖರತೆ ಮತ್ತು ಭವಿಷ್ಯದ ಪಾತ್ರಗಳನ್ನು ಹೇಗೆ ಬದಲಾಯಿಸುತ್ತದೆ.
🔗 AI ಲೆಕ್ಕಪರಿಶೋಧಕರನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
AI ಯಾವ ಲೆಕ್ಕಪತ್ರ ಕಾರ್ಯಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಏನು ಮಾನವೀಯವಾಗಿ ಉಳಿದಿದೆ ಎಂಬುದನ್ನು ನೋಡಿ.
🔗 ಹೂಡಿಕೆ ಬ್ಯಾಂಕರ್ಗಳನ್ನು AI ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
ವ್ಯವಹಾರಗಳು, ಸಂಶೋಧನೆ ಮತ್ತು ಕ್ಲೈಂಟ್ ಸಂಬಂಧಗಳ ಮೇಲೆ AI ಯ ಪ್ರಭಾವವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ.
🔗 AI ವಿಮಾ ಏಜೆಂಟ್ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
AI ಅಂಡರ್ರೈಟಿಂಗ್, ಮಾರಾಟ ಮತ್ತು ಗ್ರಾಹಕ ಬೆಂಬಲವನ್ನು ಹೇಗೆ ಪರಿವರ್ತಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ತಿಳಿಯಿರಿ.
"ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು AI ಬದಲಾಯಿಸುತ್ತದೆ" ಎಂಬ ಪ್ರಶ್ನೆ ಏಕೆ ಮತ್ತೆ ಮತ್ತೆ ಉದ್ಭವಿಸುತ್ತಿದೆ 😬
ಭಯವು ಒಂದು ನಿರ್ದಿಷ್ಟ ಸ್ಥಳದಿಂದ ಬರುತ್ತದೆ: ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಬಹಳಷ್ಟು ಪುನರಾವರ್ತಿತ ಕೆಲಸವನ್ನು ಹೊಂದಿದೆ.
-
SQL ಬರೆಯುವುದು ಮತ್ತು ಮರುಫಲಕ ಮಾಡುವುದು
-
ಇಂಜೆಷನ್ ಸ್ಕ್ರಿಪ್ಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು
-
ಒಂದು ಸ್ಕೀಮಾದಿಂದ ಇನ್ನೊಂದಕ್ಕೆ ಕ್ಷೇತ್ರಗಳನ್ನು ಮ್ಯಾಪಿಂಗ್ ಮಾಡುವುದು
-
ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ಮೂಲ ದಸ್ತಾವೇಜನ್ನು ರಚಿಸುವುದು
-
ಪೈಪ್ಲೈನ್ ವೈಫಲ್ಯಗಳನ್ನು ಡೀಬಗ್ ಮಾಡುವುದು... ಒಂದು ರೀತಿಯ ಊಹಿಸಬಹುದಾದದ್ದು
ಪುನರಾವರ್ತಿತ ಮಾದರಿಗಳಲ್ಲಿ AI ಅಸಾಧಾರಣವಾಗಿ ಉತ್ತಮವಾಗಿದೆ. ಮತ್ತು ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ನ ಒಂದು ಭಾಗವು ನಿಖರವಾಗಿ ಅದೇ ಆಗಿದೆ - ಮಾದರಿಗಳ ಮೇಲೆ ಪ್ಯಾಟರ್ನ್ಗಳನ್ನು ಜೋಡಿಸಲಾಗಿದೆ. GitHub ಕೊಪಿಲಟ್ ಕೋಡ್ ಸಲಹೆಗಳು.
ಅಲ್ಲದೆ, ಪರಿಕರಗಳ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯು ಈಗಾಗಲೇ ಸಂಕೀರ್ಣತೆಯನ್ನು "ಮರೆಮಾಚುತ್ತಿದೆ":
-
ನಿರ್ವಹಿಸಲಾದ ELT ಕನೆಕ್ಟರ್ಗಳು ಫೈವ್ಟ್ರಾನ್ ಡಾಕ್ಸ್
-
ಸರ್ವರ್ಲೆಸ್ ಕಂಪ್ಯೂಟ್ AWS ಲ್ಯಾಂಬ್ಡಾ (ಸರ್ವರ್ಲೆಸ್ ಕಂಪ್ಯೂಟ್)
-
ಒಂದು ಕ್ಲಿಕ್ನಲ್ಲಿ ಗೋದಾಮಿನ ಸರಬರಾಜು
-
ಆಟೋ-ಸ್ಕೇಲಿಂಗ್ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಅಪಾಚೆ ಏರ್ಫ್ಲೋ ಡಾಕ್ಸ್
-
ಘೋಷಣಾತ್ಮಕ ರೂಪಾಂತರ ಚೌಕಟ್ಟುಗಳು ಡಿಬಿಟಿ ಎಂದರೇನು?
ಹಾಗಾಗಿ AI ಕಾಣಿಸಿಕೊಂಡಾಗ, ಅದು ಕೊನೆಯ ತುಣುಕಿನಂತೆ ಭಾಸವಾಗಬಹುದು. ಸ್ಟ್ಯಾಕ್ ಈಗಾಗಲೇ ಅಮೂರ್ತವಾಗಿದ್ದರೆ, ಮತ್ತು AI ಅಂಟು ಕೋಡ್ ಅನ್ನು ಬರೆಯಬಹುದಾದರೆ... ಏನು ಉಳಿದಿದೆ? 🤷
ಆದರೆ ಜನರು ನಿರ್ಲಕ್ಷಿಸುವ ಒಂದು ವಿಷಯ ಇಲ್ಲಿದೆ: ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಮುಖ್ಯವಾಗಿ ಟೈಪಿಂಗ್ ಅಲ್ಲ. ಟೈಪಿಂಗ್ ಸುಲಭವಾದ ಭಾಗ. ಕಠಿಣ ಭಾಗವೆಂದರೆ ಅಸ್ಪಷ್ಟ, ರಾಜಕೀಯ, ಬದಲಾಗುತ್ತಿರುವ ವ್ಯವಹಾರ ವಾಸ್ತವವನ್ನು ವಿಶ್ವಾಸಾರ್ಹ ವ್ಯವಸ್ಥೆಯಂತೆ ವರ್ತಿಸುವಂತೆ ಮಾಡುವುದು.
ಮತ್ತು AI ಇನ್ನೂ ಆ ಅಸ್ಪಷ್ಟತೆಯೊಂದಿಗೆ ಹೋರಾಡುತ್ತಿದೆ. ಜನರು ಕೂಡ ಕಷ್ಟಪಡುತ್ತಿದ್ದಾರೆ - ಅವರು ಉತ್ತಮವಾಗಿ ಸುಧಾರಿಸುತ್ತಾರೆ.
ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳು ದಿನವಿಡೀ ನಿಜವಾಗಿ ಏನು ಮಾಡುತ್ತಾರೆ (ಅಸಹ್ಯಕರ ಸತ್ಯ) 🧱
ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳಬೇಕೆಂದರೆ - "ಡೇಟಾ ಎಂಜಿನಿಯರ್" ಎಂಬ ಕೆಲಸದ ಶೀರ್ಷಿಕೆಯು ನೀವು ಶುದ್ಧ ಗಣಿತದಿಂದ ರಾಕೆಟ್ ಎಂಜಿನ್ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಿರುವಂತೆ ತೋರುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ನೀವು ವಿಶ್ವಾಸವನ್ನು.
ಒಂದು ವಿಶಿಷ್ಟ ದಿನವು ಕಡಿಮೆ "ಹೊಸ ಅಲ್ಗಾರಿದಮ್ಗಳನ್ನು ಆವಿಷ್ಕರಿಸುವುದು" ಮತ್ತು ಇನ್ನೂ ಹೆಚ್ಚಿನದನ್ನು ಹೊಂದಿದೆ:
-
ಡೇಟಾ ವ್ಯಾಖ್ಯಾನಗಳ ಕುರಿತು ಅಪ್ಸ್ಟ್ರೀಮ್ ತಂಡಗಳೊಂದಿಗೆ ಮಾತುಕತೆ ನಡೆಸುವುದು (ನೋವುಂಟುಮಾಡುತ್ತದೆ ಆದರೆ ಅಗತ್ಯ)
-
ಮೆಟ್ರಿಕ್ ಏಕೆ ಬದಲಾಯಿತು (ಮತ್ತು ಅದು ನಿಜವೇ ಎಂದು) ತನಿಖೆ ಮಾಡುವುದು
-
ಸ್ಕೀಮಾ ಡ್ರಿಫ್ಟ್ ಮತ್ತು "ಮಧ್ಯರಾತ್ರಿಯಲ್ಲಿ ಯಾರೋ ಒಬ್ಬರು ಕಾಲಮ್ ಸೇರಿಸಿದ್ದಾರೆ" ಎಂಬ ಆಶ್ಚರ್ಯಗಳನ್ನು ನಿಭಾಯಿಸುವುದು
-
ಪೈಪ್ಲೈನ್ಗಳು ನಿಷ್ಕ್ರಿಯ, ಮರುಪಡೆಯಬಹುದಾದ, ಗಮನಿಸಬಹುದಾದವು ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು
-
ಕೆಳಮಟ್ಟದ ವಿಶ್ಲೇಷಕರು ಆಕಸ್ಮಿಕವಾಗಿ ಅಸಂಬದ್ಧ ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳನ್ನು ನಿರ್ಮಿಸದಂತೆ ಗಾರ್ಡ್ರೈಲ್ಗಳನ್ನು ರಚಿಸುವುದು
-
ನಿಮ್ಮ ಗೋದಾಮು ಹಣದ ಬೆಂಕಿಯಾಗದಂತೆ ವೆಚ್ಚಗಳನ್ನು ನಿರ್ವಹಿಸುವುದು 🔥
-
ಪ್ರವೇಶ, ಲೆಕ್ಕಪರಿಶೋಧನೆ, ಅನುಸರಣೆ, ಧಾರಣ ನೀತಿಗಳನ್ನು ಸುರಕ್ಷಿತಗೊಳಿಸುವುದು GDPR ತತ್ವಗಳು (ಯುರೋಪಿಯನ್ ಆಯೋಗ) ಶೇಖರಣಾ ಮಿತಿ (ICO)
-
ನಿಮಗೆ 20 ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳದೆಯೇ ಜನರು ಬಳಸಬಹುದಾದ ಡೇಟಾ ಉತ್ಪನ್ನಗಳನ್ನು ನಿರ್ಮಿಸುವುದು
ಕೆಲಸದ ದೊಡ್ಡ ಭಾಗ ಸಾಮಾಜಿಕ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಯದ್ದಾಗಿದೆ:
-
"ಈ ಟೇಬಲ್ ಯಾರದ್ದು?"
-
"ಈ ವ್ಯಾಖ್ಯಾನ ಇನ್ನೂ ಮಾನ್ಯವಾಗಿದೆಯೇ?"
-
"CRM ನಕಲುಗಳನ್ನು ಏಕೆ ರಫ್ತು ಮಾಡುತ್ತಿದೆ?"
-
"ಈ ಮೆಟ್ರಿಕ್ ಅನ್ನು ನಾವು ಕಾರ್ಯನಿರ್ವಾಹಕರಿಗೆ ಮುಜುಗರವಿಲ್ಲದೆ ರವಾನಿಸಬಹುದೇ?" 😭
ಇದರ ಕೆಲವು ಭಾಗಗಳಿಗೆ AI ಸಹಾಯ ಮಾಡಬಹುದು, ಖಂಡಿತ. ಆದರೆ ಅದನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುವುದು... ಸ್ವಲ್ಪ ಕಷ್ಟ.
ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಪಾತ್ರದ ಬಲವಾದ ಆವೃತ್ತಿಯನ್ನು ಯಾವುದು ರೂಪಿಸುತ್ತದೆ? ✅
ಈ ವಿಭಾಗವು ಮುಖ್ಯವಾಗಿದೆ ಏಕೆಂದರೆ ಬದಲಿ ಚರ್ಚೆಯು ಸಾಮಾನ್ಯವಾಗಿ ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳು ಮುಖ್ಯವಾಗಿ "ಪೈಪ್ಲೈನ್ ನಿರ್ಮಿಸುವವರು" ಎಂದು ಊಹಿಸುತ್ತದೆ. ಅದು ಅಡುಗೆಯವರು ಮುಖ್ಯವಾಗಿ "ತರಕಾರಿಗಳನ್ನು ಕತ್ತರಿಸುತ್ತಾರೆ" ಎಂದು ಊಹಿಸಿದಂತೆ. ಇದು ಕೆಲಸದ ಭಾಗವಾಗಿದೆ, ಆದರೆ ಅದು ಕೆಲಸವಲ್ಲ.
ಡೇಟಾ ಎಂಜಿನಿಯರ್ನ ಬಲವಾದ ಆವೃತ್ತಿಯು ಸಾಮಾನ್ಯವಾಗಿ ಇವುಗಳಲ್ಲಿ ಹೆಚ್ಚಿನದನ್ನು ಮಾಡಬಹುದು ಎಂದರ್ಥ:
-
ಬದಲಾವಣೆಗಾಗಿ ವಿನ್ಯಾಸ
ಡೇಟಾ ಬದಲಾಗುತ್ತದೆ. ತಂಡಗಳು ಬದಲಾಗುತ್ತವೆ. ಪರಿಕರಗಳು ಬದಲಾಗುತ್ತವೆ. ಒಬ್ಬ ಒಳ್ಳೆಯ ಎಂಜಿನಿಯರ್ ವಾಸ್ತವ ಸೀನಿದಾಗಲೆಲ್ಲಾ ಕುಸಿಯದ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಾನೆ 🤧 -
ಒಪ್ಪಂದಗಳು ಮತ್ತು ನಿರೀಕ್ಷೆಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ
"ಗ್ರಾಹಕ" ಎಂದರೆ ಏನು? "ಸಕ್ರಿಯ" ಎಂದರೆ ಏನು? ಸಾಲು ತಡವಾಗಿ ಬಂದಾಗ ಏನಾಗುತ್ತದೆ? ಅಲಂಕಾರಿಕ ಕೋಡ್ಗಿಂತ ಒಪ್ಪಂದಗಳು ಅವ್ಯವಸ್ಥೆಯನ್ನು ತಡೆಯುತ್ತವೆ. ಓಪನ್ ಡೇಟಾ ಕಾಂಟ್ರಾಕ್ಟ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ (ODCS) ODCS (GitHub) -
ಎಲ್ಲದರಲ್ಲೂ ವೀಕ್ಷಣೆ ಸಾಮರ್ಥ್ಯವನ್ನು ನಿರ್ಮಿಸಿ
"ಅದು ಓಡಿದೆಯೇ" ಮಾತ್ರವಲ್ಲ "ಅದು ಸರಿಯಾಗಿ ಓಡಿದೆಯೇ." ತಾಜಾತನ, ಪರಿಮಾಣ ವೈಪರೀತ್ಯಗಳು, ಶೂನ್ಯ ಸ್ಫೋಟಗಳು, ವಿತರಣಾ ಬದಲಾವಣೆಗಳು. ಡೇಟಾ ವೀಕ್ಷಣೆ (ಡೈನಾಟ್ರೇಸ್) ಡೇಟಾ ವೀಕ್ಷಣೆ ಎಂದರೇನು? -
ವಯಸ್ಕರಂತೆ ರಾಜಿ ಮಾಡಿಕೊಳ್ಳಿ:
ವೇಗ vs ನಿಖರತೆ, ವೆಚ್ಚ vs ಸುಪ್ತತೆ, ನಮ್ಯತೆ vs ಸರಳತೆ. ಪರಿಪೂರ್ಣ ಪೈಪ್ಲೈನ್ ಇಲ್ಲ, ನೀವು ಬದುಕಬಹುದಾದ ಪೈಪ್ಲೈನ್ಗಳು ಮಾತ್ರ. -
ವ್ಯವಹಾರದ ಅಗತ್ಯಗಳನ್ನು ಬಾಳಿಕೆ ಬರುವ ವ್ಯವಸ್ಥೆಗಳಾಗಿ ಪರಿವರ್ತಿಸಿ
ಜನರು ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಕೇಳುತ್ತಾರೆ, ಆದರೆ ಅವರಿಗೆ ಬೇಕಾಗಿರುವುದು ಡೇಟಾ ಉತ್ಪನ್ನ. AI ಕೋಡ್ ಅನ್ನು ರಚಿಸಬಹುದು, ಆದರೆ ಅದು ವ್ಯವಹಾರದ ಲ್ಯಾಂಡ್ಮೈನ್ಗಳನ್ನು ಮಾಂತ್ರಿಕವಾಗಿ ತಿಳಿದುಕೊಳ್ಳಲು ಸಾಧ್ಯವಿಲ್ಲ. -
ದತ್ತಾಂಶವನ್ನು ಶಾಂತವಾಗಿಡಿ
ದತ್ತಾಂಶ ವೇದಿಕೆಗೆ ಅತ್ಯುನ್ನತ ಪ್ರಶಂಸೆ ಎಂದರೆ ಯಾರೂ ಅದರ ಬಗ್ಗೆ ಮಾತನಾಡುವುದಿಲ್ಲ. ಘಟನೆಗಳಿಲ್ಲದ ದತ್ತಾಂಶವು ಉತ್ತಮ ದತ್ತಾಂಶವಾಗಿದೆ. ಪ್ಲಂಬಿಂಗ್ನಂತೆ. ಅದು ವಿಫಲವಾದಾಗ ಮಾತ್ರ ನೀವು ಅದನ್ನು ಗಮನಿಸುತ್ತೀರಿ 🚽
ನೀವು ಈ ಕೆಲಸಗಳನ್ನು ಮಾಡುತ್ತಿದ್ದರೆ, “AI ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?” ಎಂಬ ಪ್ರಶ್ನೆಯು ಧ್ವನಿಸುತ್ತದೆ... ಸ್ವಲ್ಪ ಅಸ್ಪಷ್ಟವಾಗಿದೆ. AI ಮಾಲೀಕತ್ವವನ್ನಲ್ಲ , ಕಾರ್ಯಗಳನ್ನು ಬದಲಾಯಿಸಬಹುದು .
AI ಈಗಾಗಲೇ ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತಿದೆ (ಮತ್ತು ಅದು ನಿಜಕ್ಕೂ ಅದ್ಭುತವಾಗಿದೆ) 🤖✨
AI ಕೇವಲ ಮಾರ್ಕೆಟಿಂಗ್ ಅಲ್ಲ. ಚೆನ್ನಾಗಿ ಬಳಸಿದರೆ, ಅದು ಕಾನೂನುಬದ್ಧ ಬಲ ಗುಣಕ.
1) ವೇಗವಾದ SQL ಮತ್ತು ರೂಪಾಂತರ ಕೆಲಸ
-
ಡ್ರಾಫ್ಟಿಂಗ್ ಸಂಕೀರ್ಣ ಸೇರ್ಪಡೆಗಳು
-
ನೀವು ಯೋಚಿಸದೇ ಇರುವ ವಿಂಡೋ ಕಾರ್ಯಗಳನ್ನು ಬರೆಯುವುದು
-
ಸರಳ ಭಾಷೆಯ ತರ್ಕವನ್ನು ಪ್ರಶ್ನೆ ಅಸ್ಥಿಪಂಜರಗಳಾಗಿ ಪರಿವರ್ತಿಸುವುದು
-
ಕೊಳಕು ಪ್ರಶ್ನೆಗಳನ್ನು ಓದಬಹುದಾದ CTE ಗಳಾಗಿ ಮರುರೂಪಿಸುವುದು SQL ಗಾಗಿ GitHub Copilot
ಇದು ತುಂಬಾ ದೊಡ್ಡದಾಗಿದೆ ಏಕೆಂದರೆ ಇದು "ಖಾಲಿ ಪುಟ" ಪರಿಣಾಮವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ನೀವು ಇನ್ನೂ ಮೌಲ್ಯೀಕರಿಸಬೇಕಾಗಿದೆ, ಆದರೆ ನೀವು 0% ಬದಲಿಗೆ 70% ರಿಂದ ಪ್ರಾರಂಭಿಸುತ್ತೀರಿ.
2) ಡೀಬಗ್ ಮಾಡುವುದು ಮತ್ತು ಬ್ರೆಡ್ ತುಂಡುಗಳಿಗೆ ಮೂಲ ಕಾರಣ
AI ಇಲ್ಲಿ ಉತ್ತಮವಾಗಿದೆ:
-
ದೋಷ ಸಂದೇಶಗಳನ್ನು ವಿವರಿಸುವುದು
-
ಎಲ್ಲಿ ನೋಡಬೇಕೆಂದು ಸೂಚಿಸುವುದು
-
"ಸ್ಕೀಮಾ ಹೊಂದಾಣಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸಿ" ಪ್ರಕಾರದ ಹಂತಗಳನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತಿದೆ GitHub ಸಹಪೈಲಟ್
ಇದು ಎಂದಿಗೂ ನಿದ್ರೆ ಮಾಡದ ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ಸುಳ್ಳು ಹೇಳುವ ದಣಿವರಿಯದ ಜೂನಿಯರ್ ಎಂಜಿನಿಯರ್ ಅನ್ನು ಹೊಂದಿರುವಂತೆ 😅
3) ದಾಖಲೆ ಮತ್ತು ದತ್ತಾಂಶ ಕ್ಯಾಟಲಾಗ್ ಪುಷ್ಟೀಕರಣ
ಸ್ವಯಂ-ರಚಿತ:
-
ಕಾಲಮ್ ವಿವರಣೆಗಳು
-
ಮಾದರಿ ಸಾರಾಂಶಗಳು
-
ವಂಶಾವಳಿಯ ವಿವರಣೆಗಳು
-
"ಈ ಕೋಷ್ಟಕವನ್ನು ಯಾವುದಕ್ಕಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ?" ಡಿಬಿಟಿ ದಸ್ತಾವೇಜನ್ನು
ಇದು ಪರಿಪೂರ್ಣವಲ್ಲ, ಆದರೆ ಇದು ದಾಖಲೆರಹಿತ ಪೈಪ್ಲೈನ್ಗಳ ಶಾಪವನ್ನು ಮುರಿಯುತ್ತದೆ.
4) ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್ ಪರೀಕ್ಷೆ ಮತ್ತು ಪರಿಶೀಲನೆಗಳು
AI ಪ್ರಸ್ತಾಪಿಸಬಹುದು:
-
ಮೂಲ ಶೂನ್ಯ ಪರೀಕ್ಷೆಗಳು
-
ವಿಶಿಷ್ಟತೆಯ ಪರಿಶೀಲನೆಗಳು
-
ಉಲ್ಲೇಖ ಸಮಗ್ರತೆಯ ಕಲ್ಪನೆಗಳು
-
"ಈ ಮೆಟ್ರಿಕ್ ಎಂದಿಗೂ ಕಡಿಮೆಯಾಗಬಾರದು" ಶೈಲಿಯ ಹೇಳಿಕೆಗಳು dbt ಡೇಟಾ ಪರೀಕ್ಷೆಗಳು ಉತ್ತಮ ನಿರೀಕ್ಷೆಗಳು: ನಿರೀಕ್ಷೆಗಳು
ಮತ್ತೊಮ್ಮೆ - ಯಾವುದು ಮುಖ್ಯ ಎಂಬುದನ್ನು ನೀವು ನಿರ್ಧರಿಸುತ್ತೀರಿ, ಆದರೆ ಅದು ದಿನನಿತ್ಯದ ಭಾಗಗಳನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ.
5) ಪೈಪ್ಲೈನ್ “ಅಂಟು” ಕೋಡ್
ಕಾನ್ಫಿಗರ್ ಟೆಂಪ್ಲೇಟ್ಗಳು, YAML ಸ್ಕ್ಯಾಫೋಲ್ಡ್ಗಳು, ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ DAG ಡ್ರಾಫ್ಟ್ಗಳು. ಆ ವಿಷಯ ಪುನರಾವರ್ತಿತವಾಗಿದೆ ಮತ್ತು AI ಉಪಾಹಾರಕ್ಕಾಗಿ ಪುನರಾವರ್ತಿತವಾಗಿ ತಿನ್ನುತ್ತದೆ 🥣 ಅಪಾಚೆ ಏರ್ಫ್ಲೋ DAG ಗಳು
AI ಇನ್ನೂ ಎಲ್ಲಿ ಹೋರಾಡುತ್ತಿದೆ (ಮತ್ತು ಇದು ಅದರ ಮೂಲತತ್ವ) 🧠🧩
ಇದು ಅತ್ಯಂತ ಮುಖ್ಯವಾದ ಭಾಗವಾಗಿದೆ, ಏಕೆಂದರೆ ಇದು ಬದಲಿ ಪ್ರಶ್ನೆಗೆ ನಿಜವಾದ ವಿನ್ಯಾಸದೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ.
1) ಅಸ್ಪಷ್ಟತೆ ಮತ್ತು ಬದಲಾಯಿಸುವ ವ್ಯಾಖ್ಯಾನಗಳು
ವ್ಯವಹಾರ ತರ್ಕ ವಿರಳವಾಗಿ ಸ್ಪಷ್ಟವಾಗಿರುವುದಿಲ್ಲ. ಜನರು ವಾಕ್ಯದ ಮಧ್ಯದಲ್ಲಿ ತಮ್ಮ ಮನಸ್ಸನ್ನು ಬದಲಾಯಿಸುತ್ತಾರೆ. "ಸಕ್ರಿಯ ಬಳಕೆದಾರ" "ಸಕ್ರಿಯ ಪಾವತಿಸುವ ಬಳಕೆದಾರ" ಆಗುತ್ತಾನೆ "ಕೆಲವೊಮ್ಮೆ ಹೊರತುಪಡಿಸಿ ಮರುಪಾವತಿಗಳನ್ನು ಹೊರತುಪಡಿಸಿ ಸಕ್ರಿಯ ಪಾವತಿಸುವ ಬಳಕೆದಾರ" ಆಗುತ್ತಾನೆ... ಅದು ಹೇಗೆ ಎಂದು ನಿಮಗೆ ತಿಳಿದಿದೆ.
AI ಆ ಅಸ್ಪಷ್ಟತೆಯನ್ನು ಹೊಂದಲು ಸಾಧ್ಯವಿಲ್ಲ. ಅದು ಊಹಿಸಲು ಮಾತ್ರ ಸಾಧ್ಯ.
2) ಹೊಣೆಗಾರಿಕೆ ಮತ್ತು ಅಪಾಯ
ಪೈಪ್ಲೈನ್ ಒಡೆದು ಕಾರ್ಯನಿರ್ವಾಹಕ ಡ್ಯಾಶ್ಬೋರ್ಡ್ ಅಸಂಬದ್ಧತೆಯನ್ನು ತೋರಿಸಿದಾಗ, ಯಾರಾದರೂ ಹೀಗೆ ಮಾಡಬೇಕು:
-
ಚಿಕಿತ್ಸೆಯ ಸರದಿ ನಿರ್ಧಾರ
-
ಪ್ರಭಾವವನ್ನು ತಿಳಿಸಿ
-
ಸರಿಪಡಿಸಿ
-
ಮರುಕಳಿಕೆಯನ್ನು ತಡೆಯಿರಿ
-
ಮರಣೋತ್ತರ ಪರೀಕ್ಷೆ ಬರೆಯಿರಿ
-
ವ್ಯವಹಾರವು ಕಳೆದ ವಾರದ ಸಂಖ್ಯೆಗಳನ್ನು ಇನ್ನೂ ನಂಬಬಹುದೇ ಎಂದು ನಿರ್ಧರಿಸಿ
AI ಸಹಾಯ ಮಾಡಬಹುದು, ಆದರೆ ಅದು ಅರ್ಥಪೂರ್ಣ ರೀತಿಯಲ್ಲಿ ಹೊಣೆಗಾರಿಕೆಯನ್ನು ಹೊಂದಲು ಸಾಧ್ಯವಿಲ್ಲ. ಸಂಸ್ಥೆಗಳು ವೈಬ್ಗಳ ಮೇಲೆ ನಡೆಯುವುದಿಲ್ಲ - ಅವು ಜವಾಬ್ದಾರಿಯ ಮೇಲೆ ನಡೆಯುತ್ತವೆ.
3) ವ್ಯವಸ್ಥೆಗಳ ಚಿಂತನೆ
ದತ್ತಾಂಶ ವೇದಿಕೆಗಳು ಪರಿಸರ ವ್ಯವಸ್ಥೆಗಳಾಗಿವೆ: ಸೇವನೆ, ಸಂಗ್ರಹಣೆ, ರೂಪಾಂತರಗಳು, ಸಂಯೋಜನೆ, ಆಡಳಿತ, ವೆಚ್ಚ ನಿಯಂತ್ರಣಗಳು, SLA ಗಳು. ಒಂದು ಪದರದಲ್ಲಿನ ಬದಲಾವಣೆ ತರಂಗಗಳು. ಅಪಾಚೆ ಗಾಳಿಯ ಹರಿವಿನ ಪರಿಕಲ್ಪನೆಗಳು
ಜಾಗತಿಕ ನೋವನ್ನು ಉಂಟುಮಾಡುವ ಸ್ಥಳೀಯ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳನ್ನು AI ಪ್ರಸ್ತಾಪಿಸಬಹುದು. ಇದು ಬಾಗಿಲನ್ನು ತೆಗೆದು ಕೀರಲು ಧ್ವನಿಯಲ್ಲಿ ಹೇಳುತ್ತಿರುವ ಬಾಗಿಲನ್ನು ಸರಿಪಡಿಸಿದಂತೆ 😬
4) ಭದ್ರತೆ, ಗೌಪ್ಯತೆ, ಅನುಸರಣೆ
ಬದಲಿ ಕಲ್ಪನೆಗಳು ಸಾಯುವುದು ಇಲ್ಲಿಯೇ.
-
ಪ್ರವೇಶ ನಿಯಂತ್ರಣಗಳು
-
ಸಾಲು-ಮಟ್ಟದ ಭದ್ರತೆ ಸ್ನೋಫ್ಲೇಕ್ ಸಾಲು ಪ್ರವೇಶ ನೀತಿಗಳು BigQuery ಸಾಲು-ಮಟ್ಟದ ಭದ್ರತೆ
-
NIST ಗೌಪ್ಯತಾ ಚೌಕಟ್ಟನ್ನು ನಿರ್ವಹಿಸುವ PII
-
ಧಾರಣ ನಿಯಮಗಳು ಶೇಖರಣಾ ಮಿತಿ (ICO) ಧಾರಣ ಕುರಿತು EU ಮಾರ್ಗದರ್ಶನ
-
ಆಡಿಟ್ ಟ್ರೇಲ್ಸ್ NIST SP 800-92 (ಲಾಗ್ ನಿರ್ವಹಣೆ) CIS ಕಂಟ್ರೋಲ್ 8 (ಆಡಿಟ್ ಲಾಗ್ ನಿರ್ವಹಣೆ)
-
ಡೇಟಾ ರೆಸಿಡೆನ್ಸಿ ನಿರ್ಬಂಧಗಳು
AI ನೀತಿಗಳನ್ನು ರಚಿಸಬಹುದು, ಆದರೆ ಅವುಗಳನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ಕಾರ್ಯಗತಗೊಳಿಸುವುದು ನಿಜವಾದ ಎಂಜಿನಿಯರಿಂಗ್.
5) "ಅಜ್ಞಾತ ಅಪರಿಚಿತರು"
ದತ್ತಾಂಶ ಘಟನೆಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಅನಿರೀಕ್ಷಿತವಾಗಿರುತ್ತವೆ:
-
ಮಾರಾಟಗಾರರ API ಶಬ್ದಾರ್ಥವನ್ನು ಮೌನವಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆ
-
ಸಮಯವಲಯದ ಊಹೆ ತಲೆಕೆಳಗಾಗುತ್ತದೆ
-
ಬ್ಯಾಕ್ಫಿಲ್ ಒಂದು ವಿಭಾಗವನ್ನು ನಕಲು ಮಾಡುತ್ತದೆ
-
ಮರುಪ್ರಯತ್ನ ಕಾರ್ಯವಿಧಾನವು ಡಬಲ್ ರೈಟ್ಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ
-
ಹೊಸ ಉತ್ಪನ್ನ ವೈಶಿಷ್ಟ್ಯವು ಹೊಸ ಈವೆಂಟ್ ಮಾದರಿಗಳನ್ನು ಪರಿಚಯಿಸುತ್ತದೆ
ಪರಿಸ್ಥಿತಿ ತಿಳಿದಿರುವ ಮಾದರಿಯಲ್ಲದಿದ್ದಾಗ AI ದುರ್ಬಲವಾಗಿರುತ್ತದೆ.
ಹೋಲಿಕೆ ಕೋಷ್ಟಕ: ಪ್ರಾಯೋಗಿಕವಾಗಿ ಏನು ಕಡಿಮೆ ಮಾಡುತ್ತಿದೆ 🧾🤔
ಕೆಳಗೆ ಒಂದು ಪ್ರಾಯೋಗಿಕ ದೃಷ್ಟಿಕೋನವಿದೆ. "ಜನರನ್ನು ಬದಲಾಯಿಸುವ ಸಾಧನಗಳು" ಅಲ್ಲ, ಆದರೆ ಕೆಲವು ಕಾರ್ಯಗಳನ್ನು ಕುಗ್ಗಿಸುವ ಸಾಧನಗಳು ಮತ್ತು ವಿಧಾನಗಳು.
| ಪರಿಕರ / ವಿಧಾನ | ಪ್ರೇಕ್ಷಕರು | ಬೆಲೆಯ ವಾತಾವರಣ | ಅದು ಏಕೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ |
|---|---|---|---|
| AI ಕೋಡ್ ಕೋಪಿಲಟ್ಗಳು (SQL + ಪೈಥಾನ್ ಸಹಾಯಕರು) GitHub ಕೋಪಿಲಟ್ | ಬಹಳಷ್ಟು ಕೋಡ್ ಬರೆಯುವ ಎಂಜಿನಿಯರ್ಗಳು | ಉಚಿತದಿಂದ ಪಾವತಿಸಬಹುದಾದವರೆಗೆ | ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್, ರಿಫ್ಯಾಕ್ಟರ್ಗಳು, ಸಿಂಟ್ಯಾಕ್ಸ್ನಲ್ಲಿ ಅದ್ಭುತ... ಕೆಲವೊಮ್ಮೆ ನಿರ್ದಿಷ್ಟ ರೀತಿಯಲ್ಲಿ ಸ್ಮಗ್ ಮಾಡುತ್ತಾರೆ |
| ನಿರ್ವಹಿಸಲಾದ ELT ಕನೆಕ್ಟರ್ಗಳು FiveTran | ತಂಡಗಳು ಸೇವನೆಯನ್ನು ನಿರ್ಮಿಸುವಲ್ಲಿ ಬೇಸತ್ತಿವೆ | ಚಂದಾದಾರಿಕೆ-y | ಕಸ್ಟಮ್ ಸೇವನೆಯ ನೋವನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ, ಆದರೆ ಮೋಜಿನ ಹೊಸ ವಿಧಾನಗಳಲ್ಲಿ ವಿರಾಮ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ |
| ದತ್ತಾಂಶ ವೀಕ್ಷಣಾ ವೇದಿಕೆಗಳು ದತ್ತಾಂಶ ವೀಕ್ಷಣಾ ಸಾಮರ್ಥ್ಯ (ಡೈನಾಟ್ರೇಸ್) | SLA ಗಳನ್ನು ಹೊಂದಿರುವ ಯಾರಾದರೂ | ಮಧ್ಯಮದಿಂದ ಉದ್ಯಮಕ್ಕೆ | ವೈಪರೀತ್ಯಗಳನ್ನು ಮೊದಲೇ ಪತ್ತೆ ಮಾಡುತ್ತದೆ - ಪೈಪ್ಲೈನ್ಗಳಿಗೆ ಹೊಗೆ ಎಚ್ಚರಿಕೆಗಳಂತೆ 🔔 |
| ರೂಪಾಂತರ ಚೌಕಟ್ಟುಗಳು (ಘೋಷಣಾತ್ಮಕ ಮಾದರಿ) ಡಿಬಿಟಿ | ವಿಶ್ಲೇಷಣೆ + DE ಮಿಶ್ರತಳಿಗಳು | ಸಾಮಾನ್ಯವಾಗಿ ಉಪಕರಣ + ಕಂಪ್ಯೂಟ್ | ತರ್ಕವನ್ನು ಮಾಡ್ಯುಲರ್ ಮತ್ತು ಪರೀಕ್ಷಿಸಬಹುದಾದ, ಕಡಿಮೆ ಸ್ಪಾಗೆಟ್ಟಿಯನ್ನಾಗಿ ಮಾಡುತ್ತದೆ |
| ಡೇಟಾ ಕ್ಯಾಟಲಾಗ್ಗಳು + ಲಾಕ್ಷಣಿಕ ಪದರಗಳು ಡಿಬಿಟಿ ಲಾಕ್ಷಣಿಕ ಪದರ | ಮೆಟ್ರಿಕ್ ಗೊಂದಲವಿರುವ ಸಂಸ್ಥೆಗಳು | ಪ್ರಾಯೋಗಿಕವಾಗಿ ಅವಲಂಬಿಸಿರುತ್ತದೆ | "ಸತ್ಯ"ವನ್ನು ಒಮ್ಮೆ ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ - ಅಂತ್ಯವಿಲ್ಲದ ಮೆಟ್ರಿಕ್ ಚರ್ಚೆಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ |
| ಅಪಾಚೆ ಏರ್ಫ್ಲೋ ಟೆಂಪ್ಲೇಟ್ಗಳೊಂದಿಗೆ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ | ವೇದಿಕೆ-ಮನಸ್ಸಿನ ತಂಡಗಳು | ಓಪನ್ + ಕಾರ್ಯಾಚರಣೆಗಳ ವೆಚ್ಚ | ಕೆಲಸದ ಹರಿವುಗಳನ್ನು ಪ್ರಮಾಣೀಕರಿಸುತ್ತದೆ; ಕಡಿಮೆ ಸ್ನೋಫ್ಲೇಕ್ DAG ಗಳು |
| AI- ನೆರವಿನ ದಸ್ತಾವೇಜನ್ನು dbt ದಾಖಲೆಗಳ ಉತ್ಪಾದನೆ | ದಾಖಲೆಗಳನ್ನು ಬರೆಯುವುದನ್ನು ದ್ವೇಷಿಸುವ ತಂಡಗಳು | ಅಗ್ಗದಿಂದ ಮಧ್ಯಮಕ್ಕೆ | ಜ್ಞಾನವು ಕಣ್ಮರೆಯಾಗದಂತೆ "ಸಾಕಷ್ಟು ಉತ್ತಮ" ದಾಖಲೆಗಳನ್ನು ಮಾಡುತ್ತದೆ |
| ಸ್ವಯಂಚಾಲಿತ ಆಡಳಿತ ನೀತಿಗಳು NIST ಗೌಪ್ಯತಾ ಚೌಕಟ್ಟು | ನಿಯಂತ್ರಿತ ಪರಿಸರಗಳು | ಎಂಟರ್ಪ್ರೈಸ್-ವೈ | ನಿಯಮಗಳನ್ನು ಜಾರಿಗೊಳಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ - ಆದರೆ ನಿಯಮಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಇನ್ನೂ ಮಾನವರ ಅಗತ್ಯವಿದೆ |
ಏನು ಕಾಣೆಯಾಗಿದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ: "ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು ತೆಗೆದುಹಾಕಲು ಬಟನ್ ಒತ್ತಿರಿ" ಎಂದು ಹೇಳುವ ಸಾಲು. ಹೌದು... ಆ ಸಾಲು ಅಸ್ತಿತ್ವದಲ್ಲಿಲ್ಲ 🙃
ಹಾಗಾದರೆ... AI ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ ಅಥವಾ ಪಾತ್ರವನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ? 🛠️
ನಾಟಕೀಯವಲ್ಲದ ಉತ್ತರ ಇಲ್ಲಿದೆ: AI ಕೆಲಸದ ಹರಿವಿನ ಭಾಗಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ, ವೃತ್ತಿಯನ್ನಲ್ಲ.
ಆದರೆ ಅದು ಪಾತ್ರವನ್ನು ಪುನರ್ರಚಿಸುತ್ತದೆ. ಮತ್ತು ನೀವು ಅದನ್ನು ನಿರ್ಲಕ್ಷಿಸಿದರೆ, ನೀವು ಒತ್ತಡವನ್ನು ಅನುಭವಿಸುವಿರಿ .
ಏನು ಬದಲಾವಣೆಗಳು:
-
ಬಾಯ್ಲರ್ ಪ್ಲೇಟ್ ಬರೆಯಲು ಕಡಿಮೆ ಸಮಯ
-
ದಾಖಲೆಗಳನ್ನು ಹುಡುಕಲು ಕಡಿಮೆ ಸಮಯ
-
ಪರಿಶೀಲನೆ, ಮೌಲ್ಯೀಕರಣ, ವಿನ್ಯಾಸಕ್ಕೆ ಹೆಚ್ಚಿನ ಸಮಯ
-
ಒಪ್ಪಂದಗಳು ಮತ್ತು ಗುಣಮಟ್ಟದ ನಿರೀಕ್ಷೆಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲು ಹೆಚ್ಚಿನ ಸಮಯ ಮುಕ್ತ ದತ್ತಾಂಶ ಒಪ್ಪಂದ ಮಾನದಂಡ (ODCS)
-
ಉತ್ಪನ್ನ, ಭದ್ರತೆ, ಹಣಕಾಸು ಜೊತೆ ಪಾಲುದಾರಿಕೆಯಲ್ಲಿ ಹೆಚ್ಚಿನ ಸಮಯ
ಇದು ಸೂಕ್ಷ್ಮ ಬದಲಾವಣೆ: ದತ್ತಾಂಶ ಎಂಜಿನಿಯರಿಂಗ್ "ಪೈಪ್ಲೈನ್ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು" ಕಡಿಮೆ ಮತ್ತು "ವಿಶ್ವಾಸಾರ್ಹ ದತ್ತಾಂಶ ಉತ್ಪನ್ನ ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸುವುದು" ಹೆಚ್ಚು
ಮತ್ತು ಒಂದು ಶಾಂತವಾದ ತಿರುವು, ಅದು ಕಡಿಮೆಯಲ್ಲ, ಹೆಚ್ಚು ಮೌಲ್ಯಯುತವಾಗಿದೆ.
ಅಲ್ಲದೆ - ಮತ್ತು ಅದು ನಾಟಕೀಯವಾಗಿ ತೋರಿದರೂ ಸಹ ನಾನು ಇದನ್ನು ಹೇಳಲಿದ್ದೇನೆ - AI ಡೇಟಾ ಕಲಾಕೃತಿಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ಜನರ ಸಂಖ್ಯೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ, ಇದು ಇಡೀ ವಿಷಯವನ್ನು ಸ್ವಸ್ಥವಾಗಿಡಲು ಯಾರಾದರೂ ಅಗತ್ಯವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. ಹೆಚ್ಚಿನ ಔಟ್ಪುಟ್ ಎಂದರೆ ಹೆಚ್ಚಿನ ಸಂಭಾವ್ಯ ಗೊಂದಲ. GitHub Copilot.
ಇದು ಎಲ್ಲರಿಗೂ ಪವರ್ ಡ್ರಿಲ್ ಕೊಟ್ಟ ಹಾಗೆ. ಅದ್ಭುತ! ಈಗ ಯಾರಾದರೂ "ದಯವಿಟ್ಟು ನೀರಿನ ಪೈಪ್ಗೆ ಡ್ರಿಲ್ ಮಾಡಬೇಡಿ" ಎಂಬ ನಿಯಮವನ್ನು ಜಾರಿಗೊಳಿಸಬೇಕಾಗಿದೆ 🪠
(ಎಲ್ಲೆಡೆ AI ಇದ್ದರೂ ಸಹ) ಮೌಲ್ಯಯುತವಾಗಿ ಉಳಿಯುವ ಹೊಸ ಕೌಶಲ್ಯ ಸಂಗ್ರಹ 🧠⚙️
ನೀವು ಪ್ರಾಯೋಗಿಕ "ಭವಿಷ್ಯ-ನಿರೋಧಕ" ಪರಿಶೀಲನಾಪಟ್ಟಿ ಬಯಸಿದರೆ, ಅದು ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:
ವ್ಯವಸ್ಥೆ ವಿನ್ಯಾಸ ಮನಸ್ಥಿತಿ
-
ಬದಲಾವಣೆಯನ್ನು ಉಳಿದುಕೊಂಡಿರುವ ಡೇಟಾ ಮಾಡೆಲಿಂಗ್
-
ಬ್ಯಾಚ್ vs ಸ್ಟ್ರೀಮಿಂಗ್ ರಾಜಿ ವಿನಿಮಯಗಳು
-
ವಿಳಂಬ, ವೆಚ್ಚ, ವಿಶ್ವಾಸಾರ್ಹತೆ ಚಿಂತನೆ
ಡೇಟಾ ಗುಣಮಟ್ಟ ಎಂಜಿನಿಯರಿಂಗ್
-
ಒಪ್ಪಂದಗಳು, ದೃಢೀಕರಣಗಳು, ಅಸಂಗತತೆ ಪತ್ತೆ ಓಪನ್ ಡೇಟಾ ಕಾಂಟ್ರಾಕ್ಟ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ (ODCS) ಡೇಟಾ ವೀಕ್ಷಣೆ (ಡೈನಾಟ್ರೇಸ್)
-
SLAಗಳು, SLOಗಳು, ಘಟನೆ ಪ್ರತಿಕ್ರಿಯೆ ಅಭ್ಯಾಸಗಳು
-
ಶಿಸ್ತಿನಿಂದ ಮೂಲ ಕಾರಣ ವಿಶ್ಲೇಷಣೆ (ವೈಬ್ಗಳಲ್ಲ)
ಆಡಳಿತ ಮತ್ತು ವಿಶ್ವಾಸ ರಚನೆ
-
ಪ್ರವೇಶ ಮಾದರಿಗಳು
-
ಆಡಿಟಬಿಲಿಟಿ (ಲಾಗ್ ನಿರ್ವಹಣೆ)
-
ವಿನ್ಯಾಸದ ಮೂಲಕ ಗೌಪ್ಯತೆ NIST ಗೌಪ್ಯತಾ ಚೌಕಟ್ಟು
-
ಡೇಟಾ ಜೀವನಚಕ್ರ ನಿರ್ವಹಣೆ EU ಧಾರಣ ಮಾರ್ಗದರ್ಶನ
ವೇದಿಕೆ ಚಿಂತನೆ
-
ಮರುಬಳಕೆ ಮಾಡಬಹುದಾದ ಟೆಂಪ್ಲೇಟ್ಗಳು, ಚಿನ್ನದ ಮಾರ್ಗಗಳು
-
ಫೈವ್ಟ್ರಾನ್ ಡಿಬಿಟಿ ಡೇಟಾ ಪರೀಕ್ಷೆಗಳ ಸೇವನೆ, ರೂಪಾಂತರಗಳು, ಪರೀಕ್ಷೆಗಾಗಿ ಪ್ರಮಾಣೀಕೃತ ಮಾದರಿಗಳು
-
ಕರಗದ ಸ್ವಯಂ-ಸೇವೆಯ ಉಪಕರಣಗಳು
ಸಂವಹನ (ಹೌದು, ನಿಜವಾಗಿಯೂ)
-
ಸ್ಪಷ್ಟ ದಾಖಲೆಗಳನ್ನು ಬರೆಯುವುದು
-
ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಜೋಡಿಸುವುದು
-
"ಇಲ್ಲ" ಎಂದು ನಯವಾಗಿ ಆದರೆ ದೃಢವಾಗಿ ಹೇಳುವುದು
-
ರೋಬೋಟ್ನಂತೆ ಧ್ವನಿಸದೆ ರಾಜಿ ವಿನಿಮಯಗಳನ್ನು ವಿವರಿಸುವುದು 🤖
ನೀವು ಇವುಗಳನ್ನು ಮಾಡಲು ಸಾಧ್ಯವಾದರೆ, “AI ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?” ಎಂಬ ಪ್ರಶ್ನೆ ಕಡಿಮೆ ಬೆದರಿಕೆಯೊಡ್ಡುತ್ತದೆ. AI ನಿಮ್ಮ ಬದಲಿಯಾಗಿ ಅಲ್ಲ, ಬದಲಾಗಿ ನಿಮ್ಮ ಬಾಹ್ಯ ಅಸ್ಥಿಪಂಜರವಾಗುತ್ತದೆ.
ಕೆಲವು ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಪಾತ್ರಗಳು ಕುಗ್ಗುವ ವಾಸ್ತವಿಕ ಸನ್ನಿವೇಶಗಳು 📉
ಸರಿ, ಸ್ವಲ್ಪ ರಿಯಾಲಿಟಿ ಚೆಕ್ ಮಾಡಿ, ಏಕೆಂದರೆ ಇದೆಲ್ಲವೂ ಸೂರ್ಯಕಾಂತಿ ಮತ್ತು ಎಮೋಜಿ ಕಾನ್ಫೆಟ್ಟಿಯಲ್ಲ 🎉
ಕೆಲವು ಪಾತ್ರಗಳು ಹೆಚ್ಚು ಬಹಿರಂಗಗೊಳ್ಳುತ್ತವೆ:
-
ಎಲ್ಲವೂ ಪ್ರಮಾಣಿತ ಕನೆಕ್ಟರ್ಗಳಾಗಿರುವ ಶುದ್ಧ ಸೇವನೆ-ಮಾತ್ರ ಪಾತ್ರಗಳು ಫೈವ್ಟ್ರಾನ್ ಕನೆಕ್ಟರ್ಗಳು
-
ಕನಿಷ್ಠ ಡೊಮೇನ್ ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳೊಂದಿಗೆ ಹೆಚ್ಚಾಗಿ ಪುನರಾವರ್ತಿತ ವರದಿ ಮಾಡುವ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ಮಾಡುತ್ತಿರುವ ತಂಡಗಳು
-
ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಅನ್ನು "SQL ಮಂಗಗಳು" ಎಂದು ಪರಿಗಣಿಸುವ ಸಂಸ್ಥೆಗಳು (ಕಠಿಣ, ಆದರೆ ನಿಜ)
-
ಕಡಿಮೆ ಮಾಲೀಕತ್ವದ ಹುದ್ದೆಗಳಲ್ಲಿ ಕೇವಲ ಟಿಕೆಟ್ಗಳು ಮತ್ತು ನಕಲು-ಅಂಟಿಸುವ ಕೆಲಸ ಮಾತ್ರ ಇರುತ್ತದೆ
AI ಜೊತೆಗೆ ನಿರ್ವಹಿಸಲಾದ ಪರಿಕರಗಳು ಆ ಅಗತ್ಯಗಳನ್ನು ಕುಗ್ಗಿಸಬಹುದು.
ಆದರೆ ಅಲ್ಲಿಯೂ ಸಹ, ಬದಲಿ ಸಾಮಾನ್ಯವಾಗಿ ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:
-
ಒಂದೇ ರೀತಿಯ ಪುನರಾವರ್ತಿತ ಕೆಲಸವನ್ನು ಮಾಡುವ ಜನರ ಸಂಖ್ಯೆ ಕಡಿಮೆ
-
ವೇದಿಕೆಯ ಮಾಲೀಕತ್ವ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹತೆಗೆ ಹೆಚ್ಚಿನ ಒತ್ತು
-
"ಒಬ್ಬ ವ್ಯಕ್ತಿ ಹೆಚ್ಚಿನ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ಬೆಂಬಲಿಸಬಹುದು" ಎಂಬತ್ತ ಬದಲಾವಣೆ
ಹೌದು - ಜನರ ಎಣಿಕೆಯ ಮಾದರಿಗಳು ಬದಲಾಗಬಹುದು. ಪಾತ್ರಗಳು ವಿಕಸನಗೊಳ್ಳುತ್ತವೆ. ಶೀರ್ಷಿಕೆಗಳು ಬದಲಾಗುತ್ತವೆ. ಆ ಭಾಗವು ನಿಜ.
ಆದರೂ, ಹೆಚ್ಚಿನ ಮಾಲೀಕತ್ವ, ಹೆಚ್ಚಿನ ನಂಬಿಕೆಯ ಪಾತ್ರದ ಆವೃತ್ತಿಯು ಉಳಿದುಕೊಂಡಿದೆ.
ಮುಕ್ತಾಯ ಸಾರಾಂಶ 🧾✅
ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು AI ಬದಲಾಯಿಸುತ್ತದೆಯೇ? ಜನರು ಊಹಿಸುವ ಶುದ್ಧ, ಸಂಪೂರ್ಣ ರೀತಿಯಲ್ಲಿ ಅಲ್ಲ.
AI:
-
ಪುನರಾವರ್ತಿತ ಕಾರ್ಯಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಿ
-
ಕೋಡಿಂಗ್, ಡೀಬಗ್ ಮಾಡುವಿಕೆ ಮತ್ತು ದಸ್ತಾವೇಜನ್ನು ವೇಗಗೊಳಿಸಿ SQL dbt ದಸ್ತಾವೇಜೀಕರಣಕ್ಕಾಗಿ GitHub ಕೋಪಿಲಟ್
-
ಪೈಪ್ಲೈನ್ಗಳ ಉತ್ಪಾದನಾ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಿ
ಆದರೆ ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಮೂಲಭೂತವಾಗಿ ಇದರ ಬಗ್ಗೆ:
-
ಹೊಣೆಗಾರಿಕೆ
-
ವ್ಯವಸ್ಥೆಯ ವಿನ್ಯಾಸ
-
ನಂಬಿಕೆ, ಗುಣಮಟ್ಟ ಮತ್ತು ಆಡಳಿತ ಮುಕ್ತ ಡೇಟಾ ಒಪ್ಪಂದ ಮಾನದಂಡ (ODCS) NIST ಗೌಪ್ಯತೆ ಚೌಕಟ್ಟು
-
ಅಸ್ಪಷ್ಟ ವ್ಯವಹಾರ ವಾಸ್ತವತೆಯನ್ನು ವಿಶ್ವಾಸಾರ್ಹ ದತ್ತಾಂಶ ಉತ್ಪನ್ನಗಳಾಗಿ ಭಾಷಾಂತರಿಸುವುದು
AI ಅದಕ್ಕೆ ಸಹಾಯ ಮಾಡಬಹುದು... ಆದರೆ ಅದು ಅದನ್ನು "ಸ್ವಂತ" ಮಾಡಿಕೊಳ್ಳುವುದಿಲ್ಲ.
ನೀವು ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಆಗಿದ್ದರೆ, ಈ ನಡೆ ಸರಳವಾಗಿದೆ (ಸುಲಭವಲ್ಲ, ಆದರೆ ಸರಳ):
ಮಾಲೀಕತ್ವ, ಗುಣಮಟ್ಟ, ವೇದಿಕೆಯ ಚಿಂತನೆ ಮತ್ತು ಸಂವಹನದತ್ತ ಒಲವು ತೋರಿ. ನೀವು ಮುಖ್ಯವಾದ ಭಾಗಗಳನ್ನು ನಿರ್ವಹಿಸುವಾಗ AI ಬಾಯ್ಲರ್ಪ್ಲೇಟ್ ಅನ್ನು ನಿಭಾಯಿಸಲಿ.
ಮತ್ತು ಹೌದು - ಕೆಲವೊಮ್ಮೆ ಅದು ಕೋಣೆಯಲ್ಲಿ ದೊಡ್ಡವನಾಗಿರುವುದರ ಅರ್ಥ. ಆಕರ್ಷಕವಾಗಿಲ್ಲ. ಶಾಂತವಾಗಿ ಶಕ್ತಿಶಾಲಿಯಾಗಿದ್ದರೂ 😄
AI ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
ಇದು ಕೆಲವು ಕಾರ್ಯಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ, ಏಣಿಯನ್ನು ಪುನರ್ರಚಿಸುತ್ತದೆ ಮತ್ತು ಅತ್ಯುತ್ತಮ ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು ಇನ್ನಷ್ಟು ಮೌಲ್ಯಯುತವಾಗಿಸುತ್ತದೆ. ಅದೇ ನಿಜವಾದ ಕಥೆ.
ನೈಜ-ಪ್ರಪಂಚದ ಉದಾಹರಣೆ: AI-ನೆರವಿನ ಡೇಟಾ ಪೈಪ್ಲೈನ್ ವಿಮರ್ಶೆ ಕೆಲಸದ ಹರಿವನ್ನು ನಿರ್ಮಿಸುವುದು 🛠️
ಸನ್ನಿವೇಶ
ಒಬ್ಬ ಡೇಟಾ ಎಂಜಿನಿಯರ್, ಇಬ್ಬರು ವಿಶ್ಲೇಷಕರು ಮತ್ತು ಬಹಳ ಪರಿಚಿತ ಸಮಸ್ಯೆ ಇರುವ ಒಂದು ಸಣ್ಣ ಇ-ಕಾಮರ್ಸ್ ಕಂಪನಿಯನ್ನು ಕಲ್ಪಿಸಿಕೊಳ್ಳಿ: ಪಾವತಿ ಪೂರೈಕೆದಾರರು ಕ್ಷೇತ್ರದ ಹೆಸರನ್ನು ಬದಲಾಯಿಸಿದಾಗಲೆಲ್ಲಾ ಹಣಕಾಸು ಡ್ಯಾಶ್ಬೋರ್ಡ್ ಮುರಿಯುತ್ತಲೇ ಇರುತ್ತದೆ.
ತಂಡವು AI ಪೈಪ್ಲೈನ್ ಅನ್ನು "ಸ್ವಂತ" ಮಾಡಿಕೊಳ್ಳಲು ಬಯಸುವುದಿಲ್ಲ. ಅದು ಅಪಾಯಕಾರಿ. ಬದಲಾಗಿ, ಅವರು ದಿನನಿತ್ಯದ ಆದರೆ ಪ್ರಮುಖ ಕೆಲಸಗಳಿಗೆ AI ಅನ್ನು ಮೊದಲ-ಡ್ರಾಫ್ಟ್ ಸಹಾಯಕರಾಗಿ ಬಳಸುತ್ತಾರೆ: dbt ಮಾದರಿ ಅಸ್ಥಿಪಂಜರಗಳನ್ನು ಬರೆಯುವುದು, ಪರೀಕ್ಷೆಗಳನ್ನು ಸೂಚಿಸುವುದು, ದಸ್ತಾವೇಜನ್ನು ರಚಿಸುವುದು ಮತ್ತು ಕೋಡ್ ವಿಮರ್ಶೆಗಾಗಿ ಪರಿಶೀಲನಾಪಟ್ಟಿ ರಚಿಸುವುದು.
ಅಂತಿಮ ವಿನ್ಯಾಸ, ದತ್ತಾಂಶ ವ್ಯಾಖ್ಯಾನಗಳು, ಪ್ರವೇಶ ನಿಯಮಗಳು ಮತ್ತು ಉತ್ಪಾದನಾ ನಿಯೋಜನೆಯು ಇನ್ನೂ ಮಾನವ ದತ್ತಾಂಶ ಎಂಜಿನಿಯರ್ನ ಕೈಯಲ್ಲಿದೆ. AI ಸಂಕೀರ್ಣ ಮಧ್ಯದ ವಿಸ್ತರಣೆಯನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ.
ಕೆಲಸದ ಹರಿವಿಗೆ ಏನು ಬೇಕು
AI ಬಳಸುವ ಮೊದಲು, ತಂಡವು ಸಹಾಯಕವಾಗಲು ಸಾಕಷ್ಟು ಸಂದರ್ಭವನ್ನು ನೀಡುತ್ತದೆ:
-
ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪಾವತಿ ಕೋಷ್ಟಕ ಯೋಜನೆ
-
"ನಿವ್ವಳ ಆದಾಯ", "ಮರುಪಾವತಿ ಮೊತ್ತ" ಮತ್ತು "ಇತ್ಯರ್ಥಪಡಿಸಿದ ಪಾವತಿ" ನಂತಹ ಗುರಿ ಹಣಕಾಸು ಮೆಟ್ರಿಕ್ ವ್ಯಾಖ್ಯಾನಗಳು
-
ಡಿಬಿಟಿ ಮಾದರಿಗಳಿಗೆ ಹೆಸರಿಸುವ ಸಂಪ್ರದಾಯಗಳು
-
ಅನುಮೋದಿತ ಪರೀಕ್ಷೆಗಳ ಉದಾಹರಣೆಗಳು
-
ಪಾವತಿ ಫೀಡ್ಗಾಗಿ ಒಂದು ಸಣ್ಣ ಡೇಟಾ ಒಪ್ಪಂದ
-
PII, ವಿಫಲ ಪಾವತಿಗಳು, ನಕಲುಗಳು ಮತ್ತು ತಡವಾಗಿ ಬಂದ ದಾಖಲೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ ನಿಯಮಗಳು
-
ಏನು ತಪ್ಪಾಯಿತು ಮತ್ತು ಅದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸಲಾಯಿತು ಎಂಬುದನ್ನು ಒಳಗೊಂಡಂತೆ ಹಿಂದಿನ ಘಟನೆಗಳ ಮಾದರಿ
"ಪೈಪ್ಲೈನ್ ನಿರ್ಮಿಸಲು AI ಅನ್ನು ಕೇಳುವುದು" ಮುಖ್ಯವಲ್ಲ. ಅದು ತುಂಬಾ ಅಸ್ಪಷ್ಟವಾಗಿದೆ.
ಬಲವಾದ ವಿಧಾನವೆಂದರೆ: "ಇಲ್ಲಿ ನಮ್ಮ ನಿಯಮಗಳು, ಇಲ್ಲಿ ಸ್ಕೀಮಾ, ಇಲ್ಲಿ ನಿರೀಕ್ಷಿತ ನಡವಳಿಕೆ. ನಾವು ಪರಿಶೀಲಿಸಬಹುದಾದ ಯಾವುದನ್ನಾದರೂ ಕರಡು ಪ್ರತಿಯನ್ನು ರೂಪಿಸಿ."
ಉದಾಹರಣೆ ಸೂಚನೆ
ನಮ್ಮ ಪಾವತಿ ಡೇಟಾಗಾಗಿ ನೀವು ಡಿಬಿಟಿ ಮಾದರಿಯನ್ನು ರಚಿಸುವಲ್ಲಿ ಸಹಾಯ ಮಾಡುತ್ತಿದ್ದೀರಿ. ಮೊದಲ-ಪಾಸ್ ಮಾದರಿ, ಸೂಚಿಸಲಾದ ಡಿಬಿಟಿ ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ದಸ್ತಾವೇಜನ್ನು ಟಿಪ್ಪಣಿಗಳನ್ನು ರಚಿಸಲು ಕೆಳಗಿನ ಸ್ಕೀಮಾ ಮತ್ತು ನಿಯಮಗಳನ್ನು ಬಳಸಿ.
ಮಾದರಿಯು ದೈನಂದಿನ ಇತ್ಯರ್ಥಪಡಿಸಿದ ಆದಾಯವನ್ನು order_id ಮತ್ತು payment_provider ಮೂಲಕ ಲೆಕ್ಕ ಹಾಕಬೇಕು. ವಿಫಲ ಪಾವತಿಗಳನ್ನು ಹೊರತುಪಡಿಸಿ, ಪರೀಕ್ಷಾ ವಹಿವಾಟುಗಳನ್ನು ಹೊರತುಪಡಿಸಿ ಮತ್ತು refund_status = “ದೃಢೀಕರಿಸಿದಾಗ” ಮಾತ್ರ ಮರುಪಾವತಿಗಳನ್ನು ಕಳೆಯಿರಿ.
ಕಾಲಮ್ಗಳನ್ನು ಆವಿಷ್ಕರಿಸಬೇಡಿ. ಅಗತ್ಯವಿರುವ ಕಾಲಮ್ ಕಾಣೆಯಾಗಿದ್ದರೆ, ಊಹಿಸುವ ಬದಲು "ಮಾನವ ವಿಮರ್ಶೆಗಾಗಿ ಪ್ರಶ್ನೆಗಳು" ಅಡಿಯಲ್ಲಿ ಅದನ್ನು ಪಟ್ಟಿ ಮಾಡಿ.
ಅನನ್ಯತೆ, ಶೂನ್ಯ ಮೌಲ್ಯಗಳು, ಸ್ವೀಕೃತ ಮೌಲ್ಯಗಳು ಮತ್ತು ಆದಾಯದ ಸಮಂಜಸತೆಗಾಗಿ ಪರೀಕ್ಷೆಗಳನ್ನು ಸಹ ಸೂಚಿಸಿ. ಹಣಕಾಸು ವರದಿ ಮಾಡುವಿಕೆಯ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವ ಯಾವುದೇ ತರ್ಕವನ್ನು ಫ್ಲ್ಯಾಗ್ ಮಾಡಿ.
ಅದನ್ನು ಪರೀಕ್ಷಿಸುವುದು ಹೇಗೆ
ಒಂದು ಸಮಂಜಸ ಪರೀಕ್ಷೆಯು ಚಿಕ್ಕದಾಗಿದೆ ಮತ್ತು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಸಾಮಾನ್ಯವಾಗಿದೆ:
-
AI ಗೆ ಒಂದು ತಿಳಿದಿರುವ-ಉತ್ತಮ ಪಾವತಿ ಯೋಜನೆಯನ್ನು ನೀಡಿ ಮತ್ತು ಅದು ಕ್ಷೇತ್ರಗಳನ್ನು ಆವಿಷ್ಕರಿಸುವುದನ್ನು ತಪ್ಪಿಸುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
-
refund_status ಕಾಲಮ್ ಕಾಣೆಯಾಗಿರುವ ಒಂದು ಸ್ಕೀಮಾವನ್ನು ನೀಡಿ ಮತ್ತು ಊಹಿಸುವ ಬದಲು ಅದು ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳುತ್ತದೆಯೇ ಎಂದು ನೋಡಿ.
-
ಉತ್ಪತ್ತಿಯಾದ SQL ಅನ್ನು ಉತ್ಪಾದನೆಯ ವಿರುದ್ಧ ಅಲ್ಲ, ಸ್ಟೇಜಿಂಗ್ ಡೇಟಾಸೆಟ್ನ ವಿರುದ್ಧ ರನ್ ಮಾಡಿ.
-
ಔಟ್ಪುಟ್ ಅನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಪರಿಶೀಲಿಸಿದ 20 ಪಾವತಿ ದಾಖಲೆಗಳೊಂದಿಗೆ ಹೋಲಿಕೆ ಮಾಡಿ.
-
ವಿಲೀನಗೊಳ್ಳುವ ಮೊದಲು ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಪರಿಶೀಲಿಸಲು ವಿಶ್ಲೇಷಕ ಮತ್ತು ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಅವರನ್ನು ಕೇಳಿ.
-
ಅಂಗೀಕೃತ ಪರೀಕ್ಷೆಗಳನ್ನು CI ಗೆ ಸೇರಿಸಿ ಇದರಿಂದ ಪೈಪ್ಲೈನ್ ನಿಯೋಜನೆಯ ನಂತರ ತನ್ನನ್ನು ತಾನೇ ಪರಿಶೀಲಿಸಿಕೊಳ್ಳುತ್ತದೆ.
ಮುಖ್ಯವಾದ ವಿಷಯವೆಂದರೆ ನೀವು ಹೆಚ್ಚು ಭಯಪಡುವ ವೈಫಲ್ಯ ವಿಧಾನಗಳಲ್ಲಿ AI ಅನ್ನು ಪರೀಕ್ಷಿಸುವುದು: ಕೃತಕ ಕಾಲಮ್ಗಳು, ತಪ್ಪು ಆದಾಯ ತರ್ಕ, ಕಾಣೆಯಾದ ಮರುಪಾವತಿ ನಿರ್ವಹಣೆ ಮತ್ತು ಮೌನ ನಕಲಿ ಸಾಲುಗಳು.
ಫಲಿತಾಂಶ
ವಿವರಣಾತ್ಮಕ ಫಲಿತಾಂಶ: ಈ ಕೆಲಸದ ಹರಿವನ್ನು ಬಳಸುವ ಮೊದಲು ಮತ್ತು ನಂತರ ಮೂರು ಮಾದರಿ ಪೈಪ್ಲೈನ್-ಬದಲಾವಣೆ ಕಾರ್ಯಗಳ ಸಮಯವನ್ನು ಆಧರಿಸಿ.
AI ಬಳಸುವ ಮೊದಲು, ಎಂಜಿನಿಯರ್ ಪ್ರತಿ ಬದಲಾವಣೆಗೆ ಸುಮಾರು 5 ಗಂಟೆ 30 ನಿಮಿಷಗಳನ್ನು ಕಳೆದರು: ಸರಿಸುಮಾರು 2 ಗಂಟೆಗಳು SQL ಬರೆಯಲು, 1 ಗಂಟೆ ಪರೀಕ್ಷೆಗಳನ್ನು ರಚಿಸಲು, 45 ನಿಮಿಷಗಳು ದಾಖಲೆಗಳನ್ನು ಬರೆಯಲು, ಮತ್ತು ಉಳಿದವು ಹಣಕಾಸಿನೊಂದಿಗೆ ಅಂಚಿನ ಪ್ರಕರಣಗಳನ್ನು ಪರಿಶೀಲಿಸಲು.
ಮೊದಲ ಡ್ರಾಫ್ಟ್ಗಳಿಗೆ ಮಾತ್ರ AI ಬಳಸಿದ್ದರಿಂದ, ಅದೇ ರೀತಿಯ ಬದಲಾವಣೆಯು ಸುಮಾರು 2 ಗಂಟೆ 10 ನಿಮಿಷಗಳನ್ನು ತೆಗೆದುಕೊಂಡಿತು. ಪರೀಕ್ಷಾ ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್ ಮತ್ತು ದಸ್ತಾವೇಜೀಕರಣ ಡ್ರಾಫ್ಟ್ಗಳಿಂದ ಅತಿದೊಡ್ಡ ಉಳಿತಾಯವಾಯಿತು, ಅದು 1 ಗಂಟೆ 45 ನಿಮಿಷಗಳಿಂದ ಸುಮಾರು 25 ನಿಮಿಷಗಳಿಗೆ ಇಳಿಯಿತು.
ಮಾನವ ಪರಿಶೀಲನೆ ಹಂತವು ಇನ್ನೂ ಸುಮಾರು 45 ನಿಮಿಷಗಳನ್ನು ತೆಗೆದುಕೊಂಡಿತು, ಮತ್ತು ಅದನ್ನು ತೆಗೆದುಹಾಕಬಾರದು.
ಮೂರು-ಕಾರ್ಯ ಪರೀಕ್ಷೆಯಲ್ಲಿ, AI 18 ಪರಿಶೀಲನೆಗಳನ್ನು ಸೂಚಿಸಿತು. ಎಂಜಿನಿಯರ್ 11 ಅನ್ನು ಒಪ್ಪಿಕೊಂಡರು, 5 ಅನ್ನು ಸಂಪಾದಿಸಿದರು ಮತ್ತು 2 ಅನ್ನು ತಿರಸ್ಕರಿಸಿದರು ಏಕೆಂದರೆ ಅವರು ನಿಜವಲ್ಲದ ವ್ಯವಹಾರ ನಿಯಮಗಳನ್ನು ಊಹಿಸಿದರು. ಆ ನಿರಾಕರಣೆ ಎಣಿಕೆ ಮುಖ್ಯವಾಗಿದೆ: ಇದು ಕೆಲಸದ ಹರಿವಿಗೆ ಕುರುಡು ನಂಬಿಕೆಯಲ್ಲ, ವಿಮರ್ಶೆ ಅಗತ್ಯವಿದೆ ಎಂದು ಸಾಬೀತುಪಡಿಸುತ್ತದೆ.
ಏನು ತಪ್ಪಾಗಬಹುದು?
AI ಒಂದು ಪೈಪ್ಲೈನ್ ಅನ್ನು ಅದು ಇರುವುದಕ್ಕಿಂತ ಹೆಚ್ಚು ಪೂರ್ಣವಾಗಿ ಕಾಣುವಂತೆ ಮಾಡಬಹುದು.
ಸಾಮಾನ್ಯ ವೈಫಲ್ಯದ ಅಂಶಗಳು ಸೇರಿವೆ:
-
ತೋರುವಂತೆ ಧ್ವನಿಸುವ ಕಾಲಮ್ಗಳನ್ನು ಆವಿಷ್ಕರಿಸುವುದು
-
ಮರುಪಾವತಿಗಳು, ಚಾರ್ಜ್ಬ್ಯಾಕ್ಗಳು ಮತ್ತು ವಿಫಲ ಪಾವತಿಗಳನ್ನು ಒಂದೇ ರೀತಿ ಪರಿಗಣಿಸುವುದು
-
ದೈನಂದಿನ ಆದಾಯದಲ್ಲಿ ಸಮಯವಲಯದ ಸಮಸ್ಯೆಗಳು ಕಾಣೆಯಾಗಿವೆ
-
ಹಣಕಾಸಿನ ದೋಷಗಳನ್ನು ಪತ್ತೆಹಚ್ಚದ ಸಾಮಾನ್ಯ ಪರೀಕ್ಷೆಗಳನ್ನು ಸೂಚಿಸುವುದು
-
ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ಧ್ವನಿಸುವ ಆದರೆ ಅನಿಶ್ಚಿತತೆಯನ್ನು ಮರೆಮಾಚುವ ದಸ್ತಾವೇಜನ್ನು ಬರೆಯುವುದು
-
ಮಾದರಿ ದತ್ತಾಂಶವು ಗ್ರಾಹಕರ ವಿವರಗಳನ್ನು ಹೊಂದಿರುವಾಗ ಗೌಪ್ಯತಾ ನಿಯಮಗಳನ್ನು ಮರೆತುಬಿಡುವುದು
ಒಳ್ಳೆಯ ನಿಯಮ: AI ಮಾದರಿಯನ್ನು ರಚಿಸಬಹುದು, ಆದರೆ ಮಾನವನು ವ್ಯಾಖ್ಯಾನಗಳು, ಹಣದ ತರ್ಕ, ಪ್ರವೇಶ ನಿಯಂತ್ರಣ ಮತ್ತು ಉತ್ಪಾದನಾ ಬಿಡುಗಡೆಗೆ ಸಹಿ ಹಾಕಬೇಕು.
ಪ್ರಾಯೋಗಿಕ ತೀರ್ಮಾನ
ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ನಲ್ಲಿ AI ನ ಅಮೂಲ್ಯವಾದ ಆವೃತ್ತಿಯು "ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಅನ್ನು ಬದಲಾಯಿಸುವುದಿಲ್ಲ". ಅದು "ಖಾಲಿ ಪುಟವನ್ನು ತೆಗೆದುಹಾಕಿ, ನಂತರ ಕಠಿಣವಾಗಿ ಪರಿಶೀಲಿಸಿ".
ಅಂದರೆ ವೇಗವಾದ SQL, ವೇಗವಾದ ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ಉತ್ತಮ ಫಸ್ಟ್-ಪಾಸ್ ದಸ್ತಾವೇಜನ್ನು, ಆದರೆ ಎಂಜಿನಿಯರ್ ಇನ್ನೂ ಹೆಚ್ಚು ಮುಖ್ಯವಾದ ಭಾಗವನ್ನು ಹೊಂದಿದ್ದಾರೆ: ಡೇಟಾ ಸರಿಯಾಗಿದೆಯೇ, ವಿಶ್ವಾಸಾರ್ಹವಾಗಿದೆಯೇ, ಸುರಕ್ಷಿತವಾಗಿದೆಯೇ ಮತ್ತು ವಿವರಿಸಬಹುದಾಗಿದೆಯೇ.
ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು
AI ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
ಹೆಚ್ಚಿನ ಸಂಸ್ಥೆಗಳಲ್ಲಿ, AI ಪಾತ್ರವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಅಳಿಸಿಹಾಕುವ ಬದಲು ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಗಳನ್ನು ವಹಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚು. ಇದು SQL ಡ್ರಾಫ್ಟಿಂಗ್, ಪೈಪ್ಲೈನ್ ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್, ದಸ್ತಾವೇಜೀಕರಣದ ಮೊದಲ ಪಾಸ್ಗಳು ಮತ್ತು ಮೂಲ ಪರೀಕ್ಷಾ ರಚನೆಯನ್ನು ವೇಗಗೊಳಿಸಬಹುದು. ಆದರೆ ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಮಾಲೀಕತ್ವ ಮತ್ತು ಹೊಣೆಗಾರಿಕೆಯನ್ನು ಸಹ ಹೊಂದಿದೆ, ಜೊತೆಗೆ ಗೊಂದಲಮಯ ವ್ಯವಹಾರ ವಾಸ್ತವವನ್ನು ವಿಶ್ವಾಸಾರ್ಹ ವ್ಯವಸ್ಥೆಯಂತೆ ವರ್ತಿಸುವಂತೆ ಮಾಡುವ ಅಶ್ಲೀಲ ಕೆಲಸವನ್ನು ಸಹ ಹೊಂದಿದೆ. ಆ ಭಾಗಗಳಿಗೆ "ಸರಿ" ಹೇಗಿರುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ಮತ್ತು ವಿಷಯಗಳು ಮುರಿದಾಗ ಜವಾಬ್ದಾರಿಯನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ಮಾನವರು ಇನ್ನೂ ಅಗತ್ಯವಿದೆ.
ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ನ ಯಾವ ಭಾಗಗಳನ್ನು AI ಈಗಾಗಲೇ ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತಿದೆ?
ಪುನರಾವರ್ತಿತ ಕೆಲಸಗಳಲ್ಲಿ AI ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ: SQL ಅನ್ನು ರಚಿಸುವುದು ಮತ್ತು ಮರುಫ್ಯಾಕ್ಟರಿಂಗ್ ಮಾಡುವುದು, dbt ಮಾದರಿ ಅಸ್ಥಿಪಂಜರಗಳನ್ನು ರಚಿಸುವುದು, ಸಾಮಾನ್ಯ ದೋಷಗಳನ್ನು ವಿವರಿಸುವುದು ಮತ್ತು ದಸ್ತಾವೇಜನ್ನು ರೂಪರೇಷೆಗಳನ್ನು ಉತ್ಪಾದಿಸುವುದು. ಇದು ಶೂನ್ಯ ಅಥವಾ ಅನನ್ಯತೆಯ ಪರಿಶೀಲನೆಗಳಂತಹ ಸ್ಕ್ಯಾಫೋಲ್ಡ್ ಪರೀಕ್ಷೆಗಳನ್ನು ಸಹ ಮಾಡಬಹುದು ಮತ್ತು ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಪರಿಕರಗಳಿಗಾಗಿ ಟೆಂಪ್ಲೇಟ್ "ಗ್ಲೂ" ಕೋಡ್ ಅನ್ನು ರಚಿಸಬಹುದು. ಗೆಲುವು ಆವೇಗವಾಗಿದೆ - ನೀವು ಕೆಲಸ ಮಾಡುವ ಪರಿಹಾರಕ್ಕೆ ಹತ್ತಿರವಾಗಲು ಪ್ರಾರಂಭಿಸುತ್ತೀರಿ - ಆದರೆ ನೀವು ಇನ್ನೂ ಸರಿಯಾಗಿರುವುದನ್ನು ಮೌಲ್ಯೀಕರಿಸಬೇಕು ಮತ್ತು ಅದು ನಿಮ್ಮ ಪರಿಸರಕ್ಕೆ ಸರಿಹೊಂದುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಬೇಕು.
AI SQL ಮತ್ತು ಪೈಪ್ಲೈನ್ಗಳನ್ನು ಬರೆಯಲು ಸಾಧ್ಯವಾದರೆ, ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳಿಗೆ ಏನು ಉಳಿದಿದೆ?
ಬಹಳಷ್ಟು: ಡೇಟಾ ಒಪ್ಪಂದಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವುದು, ಸ್ಕೀಮಾ ಡ್ರಿಫ್ಟ್ ಅನ್ನು ನಿರ್ವಹಿಸುವುದು ಮತ್ತು ಪೈಪ್ಲೈನ್ಗಳು ಸ್ವತಂತ್ರ, ಗಮನಿಸಬಹುದಾದ ಮತ್ತು ಮರುಪಡೆಯಬಹುದಾದವು ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು. ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳು ಮೆಟ್ರಿಕ್ ಬದಲಾವಣೆಗಳನ್ನು ತನಿಖೆ ಮಾಡಲು, ಡೌನ್ಸ್ಟ್ರೀಮ್ ಬಳಕೆದಾರರಿಗಾಗಿ ಗಾರ್ಡ್ರೈಲ್ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ವೆಚ್ಚ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹತೆಯ ವಹಿವಾಟುಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಸಮಯವನ್ನು ಕಳೆಯುತ್ತಾರೆ. ಕೆಲಸವು ಸಾಮಾನ್ಯವಾಗಿ ನಂಬಿಕೆಯನ್ನು ಬೆಳೆಸುವುದು ಮತ್ತು ಡೇಟಾ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಅನ್ನು "ಸ್ತಬ್ಧ"ವಾಗಿಡುವುದು, ಅಂದರೆ ಯಾರೂ ಅದರ ಬಗ್ಗೆ ದಿನದಿಂದ ದಿನಕ್ಕೆ ಯೋಚಿಸಬೇಕಾಗಿಲ್ಲದಷ್ಟು ಸ್ಥಿರವಾಗಿರುತ್ತದೆ.
ಡೇಟಾ ಎಂಜಿನಿಯರ್ನ ದಿನನಿತ್ಯದ ಕೆಲಸವನ್ನು AI ಹೇಗೆ ಬದಲಾಯಿಸುತ್ತದೆ?
ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಬಾಯ್ಲರ್ಪ್ಲೇಟ್ ಮತ್ತು "ಲುಕಪ್ ಸಮಯ"ವನ್ನು ಟ್ರಿಮ್ ಮಾಡುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ಟೈಪ್ ಮಾಡುವ ಸಮಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತೀರಿ ಮತ್ತು ಪರಿಶೀಲಿಸಲು, ಮೌಲ್ಯೀಕರಿಸಲು ಮತ್ತು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಹೆಚ್ಚು ಸಮಯವನ್ನು ಕಳೆಯುತ್ತೀರಿ. ಆ ಬದಲಾವಣೆಯು ಎಲ್ಲವನ್ನೂ ಕೈಯಿಂದ ಕೋಡಿಂಗ್ ಮಾಡುವ ಬದಲು ನಿರೀಕ್ಷೆಗಳು, ಗುಣಮಟ್ಟದ ಮಾನದಂಡಗಳು ಮತ್ತು ಮರುಬಳಕೆ ಮಾಡಬಹುದಾದ ಮಾದರಿಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ ಕಡೆಗೆ ಪಾತ್ರವನ್ನು ತಳ್ಳುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ನೀವು ಉತ್ಪನ್ನ, ಭದ್ರತೆ ಮತ್ತು ಹಣಕಾಸಿನೊಂದಿಗೆ ಹೆಚ್ಚಿನ ಪಾಲುದಾರಿಕೆ ಕೆಲಸವನ್ನು ಮಾಡುವ ಸಾಧ್ಯತೆಯಿದೆ - ಏಕೆಂದರೆ ತಾಂತ್ರಿಕ ಔಟ್ಪುಟ್ ರಚಿಸಲು ಸುಲಭವಾಗುತ್ತದೆ, ಆದರೆ ಆಡಳಿತ ನಡೆಸಲು ಕಷ್ಟವಾಗುತ್ತದೆ.
"ಸಕ್ರಿಯ ಬಳಕೆದಾರ" ನಂತಹ ಅಸ್ಪಷ್ಟ ವ್ಯವಹಾರ ವ್ಯಾಖ್ಯಾನಗಳೊಂದಿಗೆ AI ಏಕೆ ಹೋರಾಡುತ್ತಿದೆ?
ವ್ಯವಹಾರ ತರ್ಕವು ಸ್ಥಿರ ಅಥವಾ ನಿಖರವಾಗಿಲ್ಲದ ಕಾರಣ - ಇದು ಯೋಜನೆಯ ಮಧ್ಯದಲ್ಲಿ ಬದಲಾಗುತ್ತದೆ ಮತ್ತು ಪಾಲುದಾರರಿಂದ ಪಾಲುದಾರರಿಗೆ ಬದಲಾಗುತ್ತದೆ. AI ವ್ಯಾಖ್ಯಾನವನ್ನು ರಚಿಸಬಹುದು, ಆದರೆ ವ್ಯಾಖ್ಯಾನಗಳು ವಿಕಸನಗೊಂಡಾಗ ಅಥವಾ ಸಂಘರ್ಷಗಳು ಕಾಣಿಸಿಕೊಂಡಾಗ ಅದು ನಿರ್ಧಾರವನ್ನು ಹೊಂದಲು ಸಾಧ್ಯವಿಲ್ಲ. ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ಗೆ ಆಗಾಗ್ಗೆ ಮಾತುಕತೆ, ಊಹೆಗಳನ್ನು ದಾಖಲಿಸುವುದು ಮತ್ತು ಅಸ್ಪಷ್ಟ ಅವಶ್ಯಕತೆಗಳನ್ನು ಬಾಳಿಕೆ ಬರುವ ಒಪ್ಪಂದಗಳಾಗಿ ಪರಿವರ್ತಿಸುವ ಅಗತ್ಯವಿರುತ್ತದೆ. ಆ "ಮಾನವ ಜೋಡಣೆ" ಕೆಲಸವು ಪರಿಕರಗಳು ಸುಧಾರಿಸಿದರೂ ಪಾತ್ರವು ಕಣ್ಮರೆಯಾಗದಿರಲು ಒಂದು ಪ್ರಮುಖ ಕಾರಣವಾಗಿದೆ.
ಡೇಟಾ ಆಡಳಿತ, ಗೌಪ್ಯತೆ ಮತ್ತು ಅನುಸರಣೆ ಕೆಲಸವನ್ನು AI ಸುರಕ್ಷಿತವಾಗಿ ನಿರ್ವಹಿಸಬಹುದೇ?
AI ನೀತಿಗಳನ್ನು ರೂಪಿಸಲು ಅಥವಾ ವಿಧಾನಗಳನ್ನು ಸೂಚಿಸಲು ಸಹಾಯ ಮಾಡಬಹುದು, ಆದರೆ ಸುರಕ್ಷಿತ ಅನುಷ್ಠಾನಕ್ಕೆ ಇನ್ನೂ ನಿಜವಾದ ಎಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಎಚ್ಚರಿಕೆಯ ಮೇಲ್ವಿಚಾರಣೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ. ಆಡಳಿತವು ಪ್ರವೇಶ ನಿಯಂತ್ರಣಗಳು, PII ನಿರ್ವಹಣೆ, ಧಾರಣ ನಿಯಮಗಳು, ಆಡಿಟ್ ಟ್ರೇಲ್ಗಳು ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ನಿವಾಸ ನಿರ್ಬಂಧಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಇವುಗಳು "ಬಹುತೇಕ ಸರಿ" ಸ್ವೀಕಾರಾರ್ಹವಲ್ಲದ ಹೆಚ್ಚಿನ ಅಪಾಯದ ಕ್ಷೇತ್ರಗಳಾಗಿವೆ. ಮಾನವರು ನಿಯಮಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಬೇಕು, ಜಾರಿಗೊಳಿಸುವಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸಬೇಕು ಮತ್ತು ಅನುಸರಣೆ ಫಲಿತಾಂಶಗಳಿಗೆ ಜವಾಬ್ದಾರರಾಗಿರಬೇಕು.
AI ಸುಧಾರಿಸಿದಂತೆ ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳಿಗೆ ಯಾವ ಕೌಶಲ್ಯಗಳು ಮೌಲ್ಯಯುತವಾಗಿ ಉಳಿಯುತ್ತವೆ?
ವ್ಯವಸ್ಥೆಗಳನ್ನು ಸ್ಥಿತಿಸ್ಥಾಪಕವಾಗಿಸುವ ಕೌಶಲ್ಯಗಳು: ಸಿಸ್ಟಮ್ ವಿನ್ಯಾಸ ಚಿಂತನೆ, ಡೇಟಾ ಗುಣಮಟ್ಟದ ಎಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಪ್ಲಾಟ್ಫಾರ್ಮ್-ಮೈಂಡೆಡ್ ಪ್ರಮಾಣೀಕರಣ. ಹೆಚ್ಚಿನ ಜನರು ಡೇಟಾ ಕಲಾಕೃತಿಗಳನ್ನು ತ್ವರಿತವಾಗಿ ಉತ್ಪಾದಿಸಲು ಸಾಧ್ಯವಾದಾಗ ಒಪ್ಪಂದಗಳು, ವೀಕ್ಷಣೆ, ಘಟನೆ ಪ್ರತಿಕ್ರಿಯೆ ಅಭ್ಯಾಸಗಳು ಮತ್ತು ಶಿಸ್ತಿನ ಮೂಲ ಕಾರಣ ವಿಶ್ಲೇಷಣೆ ಇನ್ನಷ್ಟು ಮುಖ್ಯವಾಗುತ್ತವೆ. ಸಂವಹನವು ವಿಭಿನ್ನತೆಯೂ ಆಗುತ್ತದೆ - ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಜೋಡಿಸುವುದು, ಸ್ಪಷ್ಟ ದಾಖಲೆಗಳನ್ನು ಬರೆಯುವುದು ಮತ್ತು ನಾಟಕವಿಲ್ಲದೆ ಟ್ರೇಡ್ಆಫ್ಗಳನ್ನು ವಿವರಿಸುವುದು ಡೇಟಾವನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಡುವಲ್ಲಿ ದೊಡ್ಡ ಭಾಗವಾಗಿದೆ.
AI ಮತ್ತು ನಿರ್ವಹಿಸಿದ ಪರಿಕರಗಳಿಂದ ಯಾವ ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಪಾತ್ರಗಳು ಹೆಚ್ಚು ಅಪಾಯದಲ್ಲಿವೆ?
ಪುನರಾವರ್ತಿತ ಸೇವನೆ ಅಥವಾ ಪ್ರಮಾಣಿತ ವರದಿ ಮಾಡುವ ಪೈಪ್ಲೈನ್ಗಳ ಮೇಲೆ ಸಂಕುಚಿತವಾಗಿ ಕೇಂದ್ರೀಕರಿಸಿದ ಪಾತ್ರಗಳು ಹೆಚ್ಚು ಬಹಿರಂಗಗೊಳ್ಳುತ್ತವೆ, ವಿಶೇಷವಾಗಿ ನಿರ್ವಹಿಸಲಾದ ELT ಕನೆಕ್ಟರ್ಗಳು ಹೆಚ್ಚಿನ ಮೂಲಗಳನ್ನು ಒಳಗೊಂಡಾಗ. ಕಡಿಮೆ-ಮಾಲೀಕತ್ವ, ಟಿಕೆಟ್-ಚಾಲಿತ ಕೆಲಸವು ಕುಗ್ಗಬಹುದು ಏಕೆಂದರೆ AI ಮತ್ತು ಅಮೂರ್ತತೆಯು ಪ್ರತಿ ಪೈಪ್ಲೈನ್ಗೆ ಪ್ರಯತ್ನವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಆದರೆ ಇದು ಸಾಮಾನ್ಯವಾಗಿ "ಡೇಟಾ ಎಂಜಿನಿಯರ್ಗಳಿಲ್ಲ" ಎಂದು ಅಲ್ಲ, ಪುನರಾವರ್ತಿತ ಕಾರ್ಯಗಳನ್ನು ಮಾಡುವ ಕಡಿಮೆ ಜನರಂತೆ ಕಾಣುತ್ತದೆ. ವಿಶ್ವಾಸಾರ್ಹತೆ, ಗುಣಮಟ್ಟ ಮತ್ತು ನಂಬಿಕೆಯ ಮೇಲೆ ಕೇಂದ್ರೀಕೃತವಾದ ಉನ್ನತ-ಮಾಲೀಕತ್ವದ ಪಾತ್ರಗಳು ಬಾಳಿಕೆ ಬರುವಂತೆ ಉಳಿಯುತ್ತವೆ.
ಗೊಂದಲ ಸೃಷ್ಟಿಸದೆ AI ನೊಂದಿಗೆ GitHub Copilot ಅಥವಾ dbt ನಂತಹ ಪರಿಕರಗಳನ್ನು ನಾನು ಹೇಗೆ ಬಳಸಬಹುದು?
AI ಔಟ್ಪುಟ್ ಅನ್ನು ನಿರ್ಧಾರದಂತೆ ಅಲ್ಲ, ಡ್ರಾಫ್ಟ್ ಆಗಿ ಪರಿಗಣಿಸಿ. ಪ್ರಶ್ನೆ ಅಸ್ಥಿಪಂಜರಗಳನ್ನು ರಚಿಸಲು, ಓದುವಿಕೆಯನ್ನು ಸುಧಾರಿಸಲು ಅಥವಾ ಸ್ಕ್ಯಾಫೋಲ್ಡ್ ಡಿಬಿಟಿ ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ದಾಖಲೆಗಳನ್ನು ಬಳಸಲು ಇದನ್ನು ಬಳಸಿ, ನಂತರ ನೈಜ ಡೇಟಾ ಮತ್ತು ಅಂಚಿನ ಪ್ರಕರಣಗಳ ವಿರುದ್ಧ ಮೌಲ್ಯೀಕರಿಸಿ. ಬಲವಾದ ಸಂಪ್ರದಾಯಗಳೊಂದಿಗೆ ಇದನ್ನು ಜೋಡಿಸಿ: ಒಪ್ಪಂದಗಳು, ಹೆಸರಿಸುವ ಮಾನದಂಡಗಳು, ವೀಕ್ಷಣಾ ಪರಿಶೀಲನೆಗಳು ಮತ್ತು ವಿಮರ್ಶೆ ಅಭ್ಯಾಸಗಳು. ವಿಶ್ವಾಸಾರ್ಹತೆ, ವೆಚ್ಚ ನಿಯಂತ್ರಣ ಅಥವಾ ಆಡಳಿತವನ್ನು ತ್ಯಾಗ ಮಾಡದೆ ವೇಗವಾಗಿ ತಲುಪಿಸುವುದು ಗುರಿಯಾಗಿದೆ.
ಉಲ್ಲೇಖಗಳು
-
ಯುರೋಪಿಯನ್ ಆಯೋಗ - ಡೇಟಾ ಸಂರಕ್ಷಣೆಯ ವಿವರಣೆ: GDPR ತತ್ವಗಳು - commission.europa.eu
-
ಮಾಹಿತಿ ಆಯುಕ್ತರ ಕಚೇರಿ (ICO) - ಸಂಗ್ರಹಣೆ ಮಿತಿ - ico.org.uk
-
ಯುರೋಪಿಯನ್ ಕಮಿಷನ್ - ಡೇಟಾವನ್ನು ಎಷ್ಟು ಸಮಯದವರೆಗೆ ಇಡಬಹುದು ಮತ್ತು ಅದನ್ನು ನವೀಕರಿಸುವುದು ಅಗತ್ಯವೇ? - commission.europa.eu
-
ರಾಷ್ಟ್ರೀಯ ಗುಣಮಟ್ಟ ಮತ್ತು ತಂತ್ರಜ್ಞಾನ ಸಂಸ್ಥೆ (NIST) - ಗೌಪ್ಯತಾ ಚೌಕಟ್ಟು - nist.gov
-
NIST ಕಂಪ್ಯೂಟರ್ ಸೆಕ್ಯುರಿಟಿ ರಿಸೋರ್ಸ್ ಸೆಂಟರ್ (CSRC) - SP 800-92: ಕಂಪ್ಯೂಟರ್ ಸೆಕ್ಯುರಿಟಿ ಲಾಗ್ ನಿರ್ವಹಣೆಗೆ ಮಾರ್ಗದರ್ಶಿ - csrc.nist.gov
-
ಇಂಟರ್ನೆಟ್ ಸೆಕ್ಯುರಿಟಿ ಸೆಂಟರ್ (CIS) - ಆಡಿಟ್ ಲಾಗ್ ಮ್ಯಾನೇಜ್ಮೆಂಟ್ (CIS ನಿಯಂತ್ರಣಗಳು) - cisecurity.org
-
ಸ್ನೋಫ್ಲೇಕ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಸಾಲು ಪ್ರವೇಶ ನೀತಿಗಳು - docs.snowflake.com
-
Google ಕ್ಲೌಡ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - BigQuery ಸಾಲು-ಮಟ್ಟದ ಭದ್ರತೆ - docs.cloud.google.com
-
BITOL - ಓಪನ್ ಡೇಟಾ ಕಾಂಟ್ರಾಕ್ಟ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ (ODCS) v3.1.0 - bitol-io.github.io
-
BITOL (GitHub) - ಓಪನ್ ಡೇಟಾ ಕಾಂಟ್ರಾಕ್ಟ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ - github.com
-
ಅಪಾಚೆ ಗಾಳಿಯ ಹರಿವು - ದಾಖಲೆ (ಸ್ಥಿರ) - airflow.apache.org
-
ಅಪಾಚೆ ಏರ್ಫ್ಲೋ - ಡಿಎಜಿಗಳು (ಪ್ರಮುಖ ಪರಿಕಲ್ಪನೆಗಳು) - airflow.apache.org
-
ಡಿಬಿಟಿ ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡಿಬಿಟಿ ಎಂದರೇನು? - docs.getdbt.com
-
ಡಿಬಿಟಿ ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡಿಬಿಟಿ ಮಾದರಿಗಳ ಬಗ್ಗೆ - docs.getdbt.com
-
ಡಿಬಿಟಿ ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - docs.getdbt.com
-
dbt ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡೇಟಾ ಪರೀಕ್ಷೆಗಳು - docs.getdbt.com
-
dbt ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - dbt ಸೆಮ್ಯಾಂಟಿಕ್ ಲೇಯರ್ - docs.getdbt.com
-
ಫೈವ್ಟ್ರಾನ್ ದಸ್ತಾವೇಜೀಕರಣ - ಪ್ರಾರಂಭಿಸುವುದು - fivetran.com
-
ಫೈವ್ಟ್ರಾನ್ - ಕನೆಕ್ಟರ್ಗಳು - fivetran.com
-
AWS ದಸ್ತಾವೇಜೀಕರಣ - AWS ಲ್ಯಾಂಬ್ಡಾ ಡೆವಲಪರ್ ಮಾರ್ಗದರ್ಶಿ - docs.aws.amazon.com
-
ಗಿಟ್ಹಬ್ - ಗಿಟ್ಹಬ್ ಕೋಪಿಲಟ್ - ಗಿಥಬ್.ಕಾಮ್
-
GitHub ಡಾಕ್ಸ್ - GitHub Copilot ಮೂಲಕ ನಿಮ್ಮ IDE ನಲ್ಲಿ ಕೋಡ್ ಸಲಹೆಗಳನ್ನು ಪಡೆಯುವುದು - docs.github.com
-
ಮೈಕ್ರೋಸಾಫ್ಟ್ ಲರ್ನ್ - SQL ಗಾಗಿ ಗಿಟ್ಹಬ್ ಕೊಪಿಲಟ್ (VS ಕೋಡ್ ವಿಸ್ತರಣೆ) - learn.microsoft.com
-
ಡೈನಾಟ್ರೇಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡೇಟಾ ವೀಕ್ಷಣೆ - docs.dynatrace.com
-
ಡೇಟಾಗ್ಯಾಲಕ್ಸಿ - ಡೇಟಾ ವೀಕ್ಷಣೆ ಎಂದರೇನು? - datagalaxy.com
-
ಗ್ರೇಟ್ ಎಕ್ಸ್ಪೆಕ್ಟೇಷನ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಎಕ್ಸ್ಪೆಕ್ಟೇಷನ್ಸ್ ಅವಲೋಕನ - docs.greatexpectations.io