ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು AI ಬದಲಾಯಿಸುತ್ತದೆಯೇ?

ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು AI ಬದಲಾಯಿಸುತ್ತದೆಯೇ?

ಸಣ್ಣ ಉತ್ತರ: AI ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುವುದಿಲ್ಲ; ಇದು SQL ಡ್ರಾಫ್ಟಿಂಗ್, ಪೈಪ್‌ಲೈನ್ ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್, ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ದಸ್ತಾವೇಜೀಕರಣದಂತಹ ಪುನರಾವರ್ತಿತ ಕೆಲಸವನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತದೆ. ನಿಮ್ಮ ಪಾತ್ರವು ಹೆಚ್ಚಾಗಿ ಕಡಿಮೆ-ಮಾಲೀಕತ್ವ, ಟಿಕೆಟ್-ಚಾಲಿತ ಕೆಲಸವಾಗಿದ್ದರೆ, ಅದು ಹೆಚ್ಚು ಬಹಿರಂಗಗೊಳ್ಳುತ್ತದೆ; ನೀವು ವಿಶ್ವಾಸಾರ್ಹತೆ, ವ್ಯಾಖ್ಯಾನಗಳು, ಆಡಳಿತ ಮತ್ತು ಘಟನೆ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಹೊಂದಿದ್ದರೆ, AI ಮುಖ್ಯವಾಗಿ ನಿಮ್ಮನ್ನು ವೇಗವಾಗಿ ಮಾಡುತ್ತದೆ.

ಪ್ರಮುಖ ಅಂಶಗಳು:

ಮಾಲೀಕತ್ವ : ಫಲಿತಾಂಶಗಳಿಗೆ ಹೊಣೆಗಾರಿಕೆಯನ್ನು ಆದ್ಯತೆ ನೀಡಿ, ಕೇವಲ ಕೋಡ್ ಅನ್ನು ತ್ವರಿತವಾಗಿ ಉತ್ಪಾದಿಸುವುದಲ್ಲ.

ಗುಣಮಟ್ಟ : ಪೈಪ್‌ಲೈನ್‌ಗಳು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಉಳಿಯುವಂತೆ ಪರೀಕ್ಷೆಗಳು, ವೀಕ್ಷಣೆ ಮತ್ತು ಒಪ್ಪಂದಗಳನ್ನು ನಿರ್ಮಿಸಿ.

ಆಡಳಿತ : ಗೌಪ್ಯತೆ, ಪ್ರವೇಶ ನಿಯಂತ್ರಣ, ಧಾರಣ ಮತ್ತು ಆಡಿಟ್ ಹಾದಿಗಳನ್ನು ಮಾನವ ಸ್ವಾಮ್ಯದಲ್ಲಿರಿಸಿಕೊಳ್ಳಿ.

ದುರುಪಯೋಗ ಪ್ರತಿರೋಧ : AI ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಕರಡುಗಳಾಗಿ ಪರಿಗಣಿಸಿ; ಖಚಿತವಾದ ತಪ್ಪನ್ನು ತಪ್ಪಿಸಲು ಅವುಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.

ಪಾತ್ರ ಬದಲಾವಣೆ : ಬಾಯ್ಲರ್‌ಪ್ಲೇಟ್ ಟೈಪ್ ಮಾಡಲು ಕಡಿಮೆ ಸಮಯವನ್ನು ಕಳೆಯಿರಿ ಮತ್ತು ಬಾಳಿಕೆ ಬರುವ ವ್ಯವಸ್ಥೆಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಹೆಚ್ಚು ಸಮಯವನ್ನು ಕಳೆಯಿರಿ.

ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು AI ಬದಲಾಯಿಸುತ್ತದೆಯೇ? ಇನ್ಫೋಗ್ರಾಫಿಕ್

ನೀವು ಡೇಟಾ ತಂಡಗಳ ಸುತ್ತಲೂ ಐದು ನಿಮಿಷಗಳಿಗಿಂತ ಹೆಚ್ಚು ಸಮಯ ಕಳೆದಿದ್ದರೆ, ನೀವು ಪಲ್ಲವಿಯನ್ನು ಕೇಳಿದ್ದೀರಿ - ಕೆಲವೊಮ್ಮೆ ಪಿಸುಗುಟ್ಟುತ್ತಾರೆ, ಕೆಲವೊಮ್ಮೆ ಕಥಾವಸ್ತುವಿನ ತಿರುವುಗಳಂತೆ ಸಭೆಯಲ್ಲಿ ಪ್ರಾರಂಭಿಸುತ್ತಾರೆ: AI ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?

ಮತ್ತು... ನನಗೆ ಅರ್ಥವಾಯಿತು. AI SQL ಅನ್ನು ಉತ್ಪಾದಿಸಬಹುದು, ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಬಹುದು, ಸ್ಟ್ಯಾಕ್ ಟ್ರೇಸ್‌ಗಳನ್ನು ವಿವರಿಸಬಹುದು, dbt ಮಾದರಿಗಳನ್ನು ಡ್ರಾಫ್ಟ್ ಮಾಡಬಹುದು, ಗೋದಾಮಿನ ಸ್ಕೀಮಾಗಳನ್ನು ಸಹ ಅಶಾಂತಿಯ ವಿಶ್ವಾಸದಿಂದ ಸೂಚಿಸಬಹುದು. SQL ಗಾಗಿ GitHub Copilot dbt ಮಾದರಿಗಳ ಬಗ್ಗೆ GitHub Copilot
ಫೋರ್ಕ್‌ಲಿಫ್ಟ್ ಜಗ್ಲಿಂಗ್ ಕಲಿಯುವುದನ್ನು ನೋಡುತ್ತಿರುವಂತೆ ಭಾಸವಾಗುತ್ತದೆ. ಪ್ರಭಾವಶಾಲಿ, ಸ್ವಲ್ಪ ಆತಂಕಕಾರಿ, ಮತ್ತು ನಿಮ್ಮ ಕೆಲಸಕ್ಕೆ ಅದು ಏನನ್ನು ಸೂಚಿಸುತ್ತದೆ ಎಂದು ನಿಮಗೆ ಸಂಪೂರ್ಣವಾಗಿ ಖಚಿತವಿಲ್ಲ 😅

ಆದರೆ ಸತ್ಯವು ಶೀರ್ಷಿಕೆಗಿಂತ ಕಡಿಮೆ ಅಚ್ಚುಕಟ್ಟಾಗಿದೆ. AI ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುತ್ತಿದೆ. ಇದು ಮಂದ, ಪುನರಾವರ್ತನೀಯ ಬಿಟ್‌ಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತಿದೆ. ಇದು "ನನಗೆ ಏನು ಬೇಕು ಎಂದು ನನಗೆ ತಿಳಿದಿದೆ ಆದರೆ ಸಿಂಟ್ಯಾಕ್ಸ್ ನೆನಪಿಲ್ಲ" ಎಂಬ ಕ್ಷಣಗಳನ್ನು ವೇಗಗೊಳಿಸುತ್ತಿದೆ. ಇದು ಹೊಸ ರೀತಿಯ ಅವ್ಯವಸ್ಥೆಯನ್ನು ಸಹ ಹುಟ್ಟುಹಾಕುತ್ತಿದೆ.

ಹಾಗಾಗಿ ಕೈಯಿಂದ ಅಲೆಯುವ ಆಶಾವಾದ ಅಥವಾ ವಿನಾಶಕಾರಿ ಪ್ಯಾನಿಕ್ ಇಲ್ಲದೆ ಅದನ್ನು ಸರಿಯಾಗಿ ಇಡೋಣ.

ಇದರ ನಂತರ ನೀವು ಓದಲು ಇಷ್ಟಪಡಬಹುದಾದ ಲೇಖನಗಳು:

🔗 AI ವಿಕಿರಣಶಾಸ್ತ್ರಜ್ಞರನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
ಇಮೇಜಿಂಗ್ AI ಕೆಲಸದ ಹರಿವು, ನಿಖರತೆ ಮತ್ತು ಭವಿಷ್ಯದ ಪಾತ್ರಗಳನ್ನು ಹೇಗೆ ಬದಲಾಯಿಸುತ್ತದೆ.

🔗 AI ಲೆಕ್ಕಪರಿಶೋಧಕರನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
AI ಯಾವ ಲೆಕ್ಕಪತ್ರ ಕಾರ್ಯಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಏನು ಮಾನವೀಯವಾಗಿ ಉಳಿದಿದೆ ಎಂಬುದನ್ನು ನೋಡಿ.

🔗 ಹೂಡಿಕೆ ಬ್ಯಾಂಕರ್‌ಗಳನ್ನು AI ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
ವ್ಯವಹಾರಗಳು, ಸಂಶೋಧನೆ ಮತ್ತು ಕ್ಲೈಂಟ್ ಸಂಬಂಧಗಳ ಮೇಲೆ AI ಯ ಪ್ರಭಾವವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ.

🔗 AI ವಿಮಾ ಏಜೆಂಟ್‌ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
AI ಅಂಡರ್‌ರೈಟಿಂಗ್, ಮಾರಾಟ ಮತ್ತು ಗ್ರಾಹಕ ಬೆಂಬಲವನ್ನು ಹೇಗೆ ಪರಿವರ್ತಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ತಿಳಿಯಿರಿ.


"ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು AI ಬದಲಾಯಿಸುತ್ತದೆ" ಎಂಬ ಪ್ರಶ್ನೆ ಏಕೆ ಮತ್ತೆ ಮತ್ತೆ ಉದ್ಭವಿಸುತ್ತಿದೆ 😬

ಭಯವು ಒಂದು ನಿರ್ದಿಷ್ಟ ಸ್ಥಳದಿಂದ ಬರುತ್ತದೆ: ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಬಹಳಷ್ಟು ಪುನರಾವರ್ತಿತ ಕೆಲಸವನ್ನು ಹೊಂದಿದೆ .

  • SQL ಬರೆಯುವುದು ಮತ್ತು ಮರುಫಲಕ ಮಾಡುವುದು

  • ಇಂಜೆಷನ್ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು

  • ಒಂದು ಸ್ಕೀಮಾದಿಂದ ಇನ್ನೊಂದಕ್ಕೆ ಕ್ಷೇತ್ರಗಳನ್ನು ಮ್ಯಾಪಿಂಗ್ ಮಾಡುವುದು

  • ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ಮೂಲ ದಸ್ತಾವೇಜನ್ನು ರಚಿಸುವುದು

  • ಪೈಪ್‌ಲೈನ್ ವೈಫಲ್ಯಗಳನ್ನು ಡೀಬಗ್ ಮಾಡುವುದು... ಒಂದು ರೀತಿಯ ಊಹಿಸಬಹುದಾದದ್ದು

ಪುನರಾವರ್ತಿತ ಮಾದರಿಗಳಲ್ಲಿ AI ಅಸಾಧಾರಣವಾಗಿ ಉತ್ತಮವಾಗಿದೆ. ಮತ್ತು ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್‌ನ ಒಂದು ಭಾಗವು ನಿಖರವಾಗಿ ಅದೇ ಆಗಿದೆ - ಮಾದರಿಗಳ ಮೇಲೆ ಪ್ಯಾಟರ್ನ್‌ಗಳನ್ನು ಜೋಡಿಸಲಾಗಿದೆ. GitHub ಕೊಪಿಲಟ್ ಕೋಡ್ ಸಲಹೆಗಳು.

ಅಲ್ಲದೆ, ಪರಿಕರಗಳ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯು ಈಗಾಗಲೇ ಸಂಕೀರ್ಣತೆಯನ್ನು "ಮರೆಮಾಚುತ್ತಿದೆ":

ಹಾಗಾಗಿ AI ಕಾಣಿಸಿಕೊಂಡಾಗ, ಅದು ಕೊನೆಯ ತುಣುಕಿನಂತೆ ಭಾಸವಾಗಬಹುದು. ಸ್ಟ್ಯಾಕ್ ಈಗಾಗಲೇ ಅಮೂರ್ತವಾಗಿದ್ದರೆ, ಮತ್ತು AI ಅಂಟು ಕೋಡ್ ಅನ್ನು ಬರೆಯಬಹುದಾದರೆ... ಏನು ಉಳಿದಿದೆ? 🤷

ಆದರೆ ಜನರು ನಿರ್ಲಕ್ಷಿಸುವ ಒಂದು ವಿಷಯ ಇಲ್ಲಿದೆ: ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಮುಖ್ಯವಾಗಿ ಟೈಪಿಂಗ್ ಅಲ್ಲ . ಟೈಪಿಂಗ್ ಸುಲಭವಾದ ಭಾಗ. ಕಠಿಣ ಭಾಗವೆಂದರೆ ಅಸ್ಪಷ್ಟ, ರಾಜಕೀಯ, ಬದಲಾಗುತ್ತಿರುವ ವ್ಯವಹಾರ ವಾಸ್ತವವನ್ನು ವಿಶ್ವಾಸಾರ್ಹ ವ್ಯವಸ್ಥೆಯಂತೆ ವರ್ತಿಸುವಂತೆ ಮಾಡುವುದು.

ಮತ್ತು AI ಇನ್ನೂ ಆ ಅಸ್ಪಷ್ಟತೆಯೊಂದಿಗೆ ಹೋರಾಡುತ್ತಿದೆ. ಜನರು ಕೂಡ ಕಷ್ಟಪಡುತ್ತಿದ್ದಾರೆ - ಅವರು ಉತ್ತಮವಾಗಿ ಸುಧಾರಿಸುತ್ತಾರೆ.


ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳು ದಿನವಿಡೀ ನಿಜವಾಗಿ ಏನು ಮಾಡುತ್ತಾರೆ (ಅಸಹ್ಯಕರ ಸತ್ಯ) 🧱

ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳಬೇಕೆಂದರೆ - "ಡೇಟಾ ಎಂಜಿನಿಯರ್" ಎಂಬ ಕೆಲಸದ ಶೀರ್ಷಿಕೆಯು ನೀವು ಶುದ್ಧ ಗಣಿತದಿಂದ ರಾಕೆಟ್ ಎಂಜಿನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಿರುವಂತೆ ತೋರುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ನೀವು ವಿಶ್ವಾಸವನ್ನು .

ಒಂದು ವಿಶಿಷ್ಟ ದಿನವು ಕಡಿಮೆ "ಹೊಸ ಅಲ್ಗಾರಿದಮ್‌ಗಳನ್ನು ಆವಿಷ್ಕರಿಸುವುದು" ಮತ್ತು ಇನ್ನೂ ಹೆಚ್ಚಿನದನ್ನು ಹೊಂದಿದೆ:

  • ಡೇಟಾ ವ್ಯಾಖ್ಯಾನಗಳ ಕುರಿತು ಅಪ್‌ಸ್ಟ್ರೀಮ್ ತಂಡಗಳೊಂದಿಗೆ ಮಾತುಕತೆ ನಡೆಸುವುದು (ನೋವುಂಟುಮಾಡುತ್ತದೆ ಆದರೆ ಅಗತ್ಯ)

  • ಮೆಟ್ರಿಕ್ ಏಕೆ ಬದಲಾಯಿತು (ಮತ್ತು ಅದು ನಿಜವೇ ಎಂದು) ತನಿಖೆ ಮಾಡುವುದು

  • ಸ್ಕೀಮಾ ಡ್ರಿಫ್ಟ್ ಮತ್ತು "ಮಧ್ಯರಾತ್ರಿಯಲ್ಲಿ ಯಾರೋ ಒಬ್ಬರು ಕಾಲಮ್ ಸೇರಿಸಿದ್ದಾರೆ" ಎಂಬ ಆಶ್ಚರ್ಯಗಳನ್ನು ನಿಭಾಯಿಸುವುದು

  • ಪೈಪ್‌ಲೈನ್‌ಗಳು ನಿಷ್ಕ್ರಿಯ, ಮರುಪಡೆಯಬಹುದಾದ, ಗಮನಿಸಬಹುದಾದವು ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು

  • ಕೆಳಮಟ್ಟದ ವಿಶ್ಲೇಷಕರು ಆಕಸ್ಮಿಕವಾಗಿ ಅಸಂಬದ್ಧ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳನ್ನು ನಿರ್ಮಿಸದಂತೆ ಗಾರ್ಡ್‌ರೈಲ್‌ಗಳನ್ನು ರಚಿಸುವುದು

  • ನಿಮ್ಮ ಗೋದಾಮು ಹಣದ ಬೆಂಕಿಯಾಗದಂತೆ ವೆಚ್ಚಗಳನ್ನು ನಿರ್ವಹಿಸುವುದು 🔥

  • ಪ್ರವೇಶ, ಲೆಕ್ಕಪರಿಶೋಧನೆ, ಅನುಸರಣೆ, ಧಾರಣ ನೀತಿಗಳನ್ನು ಸುರಕ್ಷಿತಗೊಳಿಸುವುದು GDPR ತತ್ವಗಳು (ಯುರೋಪಿಯನ್ ಆಯೋಗ) ಶೇಖರಣಾ ಮಿತಿ (ICO)

  • ನಿಮಗೆ 20 ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳದೆಯೇ ಜನರು ಬಳಸಬಹುದಾದ ಡೇಟಾ ಉತ್ಪನ್ನಗಳನ್ನು ನಿರ್ಮಿಸುವುದು

ಕೆಲಸದ ದೊಡ್ಡ ಭಾಗ ಸಾಮಾಜಿಕ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಯದ್ದಾಗಿದೆ:

  • "ಈ ಟೇಬಲ್ ಯಾರದ್ದು?"

  • "ಈ ವ್ಯಾಖ್ಯಾನ ಇನ್ನೂ ಮಾನ್ಯವಾಗಿದೆಯೇ?"

  • "CRM ನಕಲುಗಳನ್ನು ಏಕೆ ರಫ್ತು ಮಾಡುತ್ತಿದೆ?"

  • "ಈ ಮೆಟ್ರಿಕ್ ಅನ್ನು ನಾವು ಕಾರ್ಯನಿರ್ವಾಹಕರಿಗೆ ಮುಜುಗರವಿಲ್ಲದೆ ರವಾನಿಸಬಹುದೇ?" 😭

ಇದರ ಕೆಲವು ಭಾಗಗಳಿಗೆ AI ಸಹಾಯ ಮಾಡಬಹುದು, ಖಂಡಿತ. ಆದರೆ ಅದನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುವುದು... ಸ್ವಲ್ಪ ಕಷ್ಟ.


ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಪಾತ್ರದ ಬಲವಾದ ಆವೃತ್ತಿಯನ್ನು ಯಾವುದು ರೂಪಿಸುತ್ತದೆ? ✅

ಈ ವಿಭಾಗವು ಮುಖ್ಯವಾಗಿದೆ ಏಕೆಂದರೆ ಬದಲಿ ಚರ್ಚೆಯು ಸಾಮಾನ್ಯವಾಗಿ ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳು ಮುಖ್ಯವಾಗಿ "ಪೈಪ್‌ಲೈನ್ ನಿರ್ಮಿಸುವವರು" ಎಂದು ಊಹಿಸುತ್ತದೆ. ಅದು ಅಡುಗೆಯವರು ಮುಖ್ಯವಾಗಿ "ತರಕಾರಿಗಳನ್ನು ಕತ್ತರಿಸುತ್ತಾರೆ" ಎಂದು ಊಹಿಸಿದಂತೆ. ಇದು ಕೆಲಸದ ಭಾಗವಾಗಿದೆ, ಆದರೆ ಅದು ಕೆಲಸವಲ್ಲ.

ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ನ ಬಲವಾದ ಆವೃತ್ತಿಯು ಸಾಮಾನ್ಯವಾಗಿ ಇವುಗಳಲ್ಲಿ ಹೆಚ್ಚಿನದನ್ನು ಮಾಡಬಹುದು ಎಂದರ್ಥ:

  • ಬದಲಾವಣೆಗಾಗಿ ವಿನ್ಯಾಸ
    ಡೇಟಾ ಬದಲಾಗುತ್ತದೆ. ತಂಡಗಳು ಬದಲಾಗುತ್ತವೆ. ಪರಿಕರಗಳು ಬದಲಾಗುತ್ತವೆ. ಒಬ್ಬ ಒಳ್ಳೆಯ ಎಂಜಿನಿಯರ್ ವಾಸ್ತವ ಸೀನಿದಾಗಲೆಲ್ಲಾ ಕುಸಿಯದ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಾನೆ 🤧

  • ಒಪ್ಪಂದಗಳು ಮತ್ತು ನಿರೀಕ್ಷೆಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ
    "ಗ್ರಾಹಕ" ಎಂದರೆ ಏನು? "ಸಕ್ರಿಯ" ಎಂದರೆ ಏನು? ಸಾಲು ತಡವಾಗಿ ಬಂದಾಗ ಏನಾಗುತ್ತದೆ? ಅಲಂಕಾರಿಕ ಕೋಡ್‌ಗಿಂತ ಒಪ್ಪಂದಗಳು ಅವ್ಯವಸ್ಥೆಯನ್ನು ತಡೆಯುತ್ತವೆ. ಓಪನ್ ಡೇಟಾ ಕಾಂಟ್ರಾಕ್ಟ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ (ODCS) ODCS (GitHub)

  • ಎಲ್ಲದರಲ್ಲೂ ವೀಕ್ಷಣೆ ಸಾಮರ್ಥ್ಯವನ್ನು ನಿರ್ಮಿಸಿ
    "ಅದು ಓಡಿದೆಯೇ" ಮಾತ್ರವಲ್ಲ "ಅದು ಸರಿಯಾಗಿ ಓಡಿದೆಯೇ." ತಾಜಾತನ, ಪರಿಮಾಣ ವೈಪರೀತ್ಯಗಳು, ಶೂನ್ಯ ಸ್ಫೋಟಗಳು, ವಿತರಣಾ ಬದಲಾವಣೆಗಳು. ಡೇಟಾ ವೀಕ್ಷಣೆ (ಡೈನಾಟ್ರೇಸ್) ಡೇಟಾ ವೀಕ್ಷಣೆ ಎಂದರೇನು?

  • ವಯಸ್ಕರಂತೆ ರಾಜಿ ಮಾಡಿಕೊಳ್ಳಿ:
    ವೇಗ vs ನಿಖರತೆ, ವೆಚ್ಚ vs ಸುಪ್ತತೆ, ನಮ್ಯತೆ vs ಸರಳತೆ. ಪರಿಪೂರ್ಣ ಪೈಪ್‌ಲೈನ್ ಇಲ್ಲ, ನೀವು ಬದುಕಬಹುದಾದ ಪೈಪ್‌ಲೈನ್‌ಗಳು ಮಾತ್ರ.

  • ವ್ಯವಹಾರದ ಅಗತ್ಯಗಳನ್ನು ಬಾಳಿಕೆ ಬರುವ ವ್ಯವಸ್ಥೆಗಳಾಗಿ ಪರಿವರ್ತಿಸಿ
    ಜನರು ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಕೇಳುತ್ತಾರೆ, ಆದರೆ ಅವರಿಗೆ ಬೇಕಾಗಿರುವುದು ಡೇಟಾ ಉತ್ಪನ್ನ. AI ಕೋಡ್ ಅನ್ನು ರಚಿಸಬಹುದು, ಆದರೆ ಅದು ವ್ಯವಹಾರದ ಲ್ಯಾಂಡ್‌ಮೈನ್‌ಗಳನ್ನು ಮಾಂತ್ರಿಕವಾಗಿ ತಿಳಿದುಕೊಳ್ಳಲು ಸಾಧ್ಯವಿಲ್ಲ.

  • ದತ್ತಾಂಶವನ್ನು ಶಾಂತವಾಗಿಡಿ
    ದತ್ತಾಂಶ ವೇದಿಕೆಗೆ ಅತ್ಯುನ್ನತ ಪ್ರಶಂಸೆ ಎಂದರೆ ಯಾರೂ ಅದರ ಬಗ್ಗೆ ಮಾತನಾಡುವುದಿಲ್ಲ. ಘಟನೆಗಳಿಲ್ಲದ ದತ್ತಾಂಶವು ಉತ್ತಮ ದತ್ತಾಂಶವಾಗಿದೆ. ಪ್ಲಂಬಿಂಗ್‌ನಂತೆ. ಅದು ವಿಫಲವಾದಾಗ ಮಾತ್ರ ನೀವು ಅದನ್ನು ಗಮನಿಸುತ್ತೀರಿ 🚽

ನೀವು ಈ ಕೆಲಸಗಳನ್ನು ಮಾಡುತ್ತಿದ್ದರೆ, “AI ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?” ಧ್ವನಿಸುತ್ತದೆ... ಸ್ವಲ್ಪ ಅಸ್ಪಷ್ಟವಾಗಿದೆ. AI ಮಾಲೀಕತ್ವವನ್ನಲ್ಲ , ಕಾರ್ಯಗಳನ್ನು .


AI ಈಗಾಗಲೇ ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತಿದೆ (ಮತ್ತು ಅದು ನಿಜಕ್ಕೂ ಅದ್ಭುತವಾಗಿದೆ) 🤖✨

AI ಕೇವಲ ಮಾರ್ಕೆಟಿಂಗ್ ಅಲ್ಲ. ಚೆನ್ನಾಗಿ ಬಳಸಿದರೆ, ಅದು ಕಾನೂನುಬದ್ಧ ಬಲ ಗುಣಕ.

1) ವೇಗವಾದ SQL ಮತ್ತು ರೂಪಾಂತರ ಕೆಲಸ

  • ಡ್ರಾಫ್ಟಿಂಗ್ ಸಂಕೀರ್ಣ ಸೇರ್ಪಡೆಗಳು

  • ನೀವು ಯೋಚಿಸದೇ ಇರುವ ವಿಂಡೋ ಕಾರ್ಯಗಳನ್ನು ಬರೆಯುವುದು

  • ಸರಳ ಭಾಷೆಯ ತರ್ಕವನ್ನು ಪ್ರಶ್ನೆ ಅಸ್ಥಿಪಂಜರಗಳಾಗಿ ಪರಿವರ್ತಿಸುವುದು

  • ಕೊಳಕು ಪ್ರಶ್ನೆಗಳನ್ನು ಓದಬಹುದಾದ CTE ಗಳಾಗಿ ಮರುರೂಪಿಸುವುದು SQL ಗಾಗಿ GitHub Copilot

ಇದು ತುಂಬಾ ದೊಡ್ಡದಾಗಿದೆ ಏಕೆಂದರೆ ಇದು "ಖಾಲಿ ಪುಟ" ಪರಿಣಾಮವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ನೀವು ಇನ್ನೂ ಮೌಲ್ಯೀಕರಿಸಬೇಕಾಗಿದೆ, ಆದರೆ ನೀವು 0% ಬದಲಿಗೆ 70% ರಿಂದ ಪ್ರಾರಂಭಿಸುತ್ತೀರಿ.

2) ಡೀಬಗ್ ಮಾಡುವುದು ಮತ್ತು ಬ್ರೆಡ್ ತುಂಡುಗಳಿಗೆ ಮೂಲ ಕಾರಣ

AI ಇಲ್ಲಿ ಉತ್ತಮವಾಗಿದೆ:

  • ದೋಷ ಸಂದೇಶಗಳನ್ನು ವಿವರಿಸುವುದು

  • ಎಲ್ಲಿ ನೋಡಬೇಕೆಂದು ಸೂಚಿಸುವುದು

  • "ಸ್ಕೀಮಾ ಹೊಂದಾಣಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸಿ" ಪ್ರಕಾರದ ಹಂತಗಳನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತಿದೆ GitHub ಸಹಪೈಲಟ್
    ಇದು ಎಂದಿಗೂ ನಿದ್ರೆ ಮಾಡದ ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ಸುಳ್ಳು ಹೇಳುವ ದಣಿವರಿಯದ ಜೂನಿಯರ್ ಎಂಜಿನಿಯರ್ ಅನ್ನು ಹೊಂದಿರುವಂತೆ 😅

3) ದಾಖಲೆ ಮತ್ತು ದತ್ತಾಂಶ ಕ್ಯಾಟಲಾಗ್ ಪುಷ್ಟೀಕರಣ

ಸ್ವಯಂ-ರಚಿತ:

  • ಕಾಲಮ್ ವಿವರಣೆಗಳು

  • ಮಾದರಿ ಸಾರಾಂಶಗಳು

  • ವಂಶಾವಳಿಯ ವಿವರಣೆಗಳು

  • "ಈ ಕೋಷ್ಟಕವನ್ನು ಯಾವುದಕ್ಕಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ?" ಡಿಬಿಟಿ ದಸ್ತಾವೇಜನ್ನು

ಇದು ಪರಿಪೂರ್ಣವಲ್ಲ, ಆದರೆ ಇದು ದಾಖಲೆರಹಿತ ಪೈಪ್‌ಲೈನ್‌ಗಳ ಶಾಪವನ್ನು ಮುರಿಯುತ್ತದೆ.

4) ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್ ಪರೀಕ್ಷೆ ಮತ್ತು ಪರಿಶೀಲನೆಗಳು

AI ಪ್ರಸ್ತಾಪಿಸಬಹುದು:

ಮತ್ತೊಮ್ಮೆ - ಯಾವುದು ಮುಖ್ಯ ಎಂಬುದನ್ನು ನೀವು ನಿರ್ಧರಿಸುತ್ತೀರಿ, ಆದರೆ ಅದು ದಿನನಿತ್ಯದ ಭಾಗಗಳನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ.

5) ಪೈಪ್‌ಲೈನ್ “ಅಂಟು” ಕೋಡ್

ಕಾನ್ಫಿಗರ್ ಟೆಂಪ್ಲೇಟ್‌ಗಳು, YAML ಸ್ಕ್ಯಾಫೋಲ್ಡ್‌ಗಳು, ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ DAG ಡ್ರಾಫ್ಟ್‌ಗಳು. ಆ ವಿಷಯ ಪುನರಾವರ್ತಿತವಾಗಿದೆ ಮತ್ತು AI ಉಪಾಹಾರಕ್ಕಾಗಿ ಪುನರಾವರ್ತಿತವಾಗಿ ತಿನ್ನುತ್ತದೆ 🥣 ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ DAG ಗಳು


AI ಇನ್ನೂ ಎಲ್ಲಿ ಹೋರಾಡುತ್ತಿದೆ (ಮತ್ತು ಇದು ಅದರ ಮೂಲತತ್ವ) 🧠🧩

ಇದು ಅತ್ಯಂತ ಮುಖ್ಯವಾದ ಭಾಗವಾಗಿದೆ, ಏಕೆಂದರೆ ಇದು ಬದಲಿ ಪ್ರಶ್ನೆಗೆ ನಿಜವಾದ ವಿನ್ಯಾಸದೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ.

1) ಅಸ್ಪಷ್ಟತೆ ಮತ್ತು ಬದಲಾಯಿಸುವ ವ್ಯಾಖ್ಯಾನಗಳು

ವ್ಯವಹಾರ ತರ್ಕ ವಿರಳವಾಗಿ ಸ್ಪಷ್ಟವಾಗಿರುವುದಿಲ್ಲ. ಜನರು ವಾಕ್ಯದ ಮಧ್ಯದಲ್ಲಿ ತಮ್ಮ ಮನಸ್ಸನ್ನು ಬದಲಾಯಿಸುತ್ತಾರೆ. "ಸಕ್ರಿಯ ಬಳಕೆದಾರ" "ಸಕ್ರಿಯ ಪಾವತಿಸುವ ಬಳಕೆದಾರ" ಆಗುತ್ತಾನೆ "ಕೆಲವೊಮ್ಮೆ ಹೊರತುಪಡಿಸಿ ಮರುಪಾವತಿಗಳನ್ನು ಹೊರತುಪಡಿಸಿ ಸಕ್ರಿಯ ಪಾವತಿಸುವ ಬಳಕೆದಾರ" ಆಗುತ್ತಾನೆ... ಅದು ಹೇಗೆ ಎಂದು ನಿಮಗೆ ತಿಳಿದಿದೆ.

AI ಆ ಅಸ್ಪಷ್ಟತೆಯನ್ನು ಹೊಂದಲು ಸಾಧ್ಯವಿಲ್ಲ. ಅದು ಊಹಿಸಲು ಮಾತ್ರ ಸಾಧ್ಯ.

2) ಹೊಣೆಗಾರಿಕೆ ಮತ್ತು ಅಪಾಯ

ಪೈಪ್‌ಲೈನ್ ಒಡೆದು ಕಾರ್ಯನಿರ್ವಾಹಕ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಅಸಂಬದ್ಧತೆಯನ್ನು ತೋರಿಸಿದಾಗ, ಯಾರಾದರೂ ಹೀಗೆ ಮಾಡಬೇಕು:

  • ಚಿಕಿತ್ಸೆಯ ಸರದಿ ನಿರ್ಧಾರ

  • ಪ್ರಭಾವವನ್ನು ತಿಳಿಸಿ

  • ಸರಿಪಡಿಸಿ

  • ಮರುಕಳಿಕೆಯನ್ನು ತಡೆಯಿರಿ

  • ಮರಣೋತ್ತರ ಪರೀಕ್ಷೆ ಬರೆಯಿರಿ

  • ವ್ಯವಹಾರವು ಕಳೆದ ವಾರದ ಸಂಖ್ಯೆಗಳನ್ನು ಇನ್ನೂ ನಂಬಬಹುದೇ ಎಂದು ನಿರ್ಧರಿಸಿ

AI ಸಹಾಯ ಮಾಡಬಹುದು, ಆದರೆ ಅದು ಅರ್ಥಪೂರ್ಣ ರೀತಿಯಲ್ಲಿ ಹೊಣೆಗಾರಿಕೆಯನ್ನು ಹೊಂದಲು ಸಾಧ್ಯವಿಲ್ಲ. ಸಂಸ್ಥೆಗಳು ವೈಬ್‌ಗಳ ಮೇಲೆ ನಡೆಯುವುದಿಲ್ಲ - ಅವು ಜವಾಬ್ದಾರಿಯ ಮೇಲೆ ನಡೆಯುತ್ತವೆ.

3) ವ್ಯವಸ್ಥೆಗಳ ಚಿಂತನೆ

ದತ್ತಾಂಶ ವೇದಿಕೆಗಳು ಪರಿಸರ ವ್ಯವಸ್ಥೆಗಳಾಗಿವೆ: ಸೇವನೆ, ಸಂಗ್ರಹಣೆ, ರೂಪಾಂತರಗಳು, ಸಂಯೋಜನೆ, ಆಡಳಿತ, ವೆಚ್ಚ ನಿಯಂತ್ರಣಗಳು, SLA ಗಳು. ಒಂದು ಪದರದಲ್ಲಿನ ಬದಲಾವಣೆ ತರಂಗಗಳು. ಅಪಾಚೆ ಗಾಳಿಯ ಹರಿವಿನ ಪರಿಕಲ್ಪನೆಗಳು

ಜಾಗತಿಕ ನೋವನ್ನು ಉಂಟುಮಾಡುವ ಸ್ಥಳೀಯ ಆಪ್ಟಿಮೈಸೇಶನ್‌ಗಳನ್ನು AI ಪ್ರಸ್ತಾಪಿಸಬಹುದು. ಇದು ಬಾಗಿಲನ್ನು ತೆಗೆದು ಕೀರಲು ಧ್ವನಿಯಲ್ಲಿ ಹೇಳುತ್ತಿರುವ ಬಾಗಿಲನ್ನು ಸರಿಪಡಿಸಿದಂತೆ 😬

4) ಭದ್ರತೆ, ಗೌಪ್ಯತೆ, ಅನುಸರಣೆ

ಬದಲಿ ಕಲ್ಪನೆಗಳು ಸಾಯುವುದು ಇಲ್ಲಿಯೇ.

AI ನೀತಿಗಳನ್ನು ರಚಿಸಬಹುದು, ಆದರೆ ಅವುಗಳನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ಕಾರ್ಯಗತಗೊಳಿಸುವುದು ನಿಜವಾದ ಎಂಜಿನಿಯರಿಂಗ್.

5) "ಅಜ್ಞಾತ ಅಪರಿಚಿತರು"

ದತ್ತಾಂಶ ಘಟನೆಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಅನಿರೀಕ್ಷಿತವಾಗಿರುತ್ತವೆ:

  • ಮಾರಾಟಗಾರರ API ಶಬ್ದಾರ್ಥವನ್ನು ಮೌನವಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆ

  • ಸಮಯವಲಯದ ಊಹೆ ತಲೆಕೆಳಗಾಗುತ್ತದೆ

  • ಬ್ಯಾಕ್‌ಫಿಲ್ ಒಂದು ವಿಭಾಗವನ್ನು ನಕಲು ಮಾಡುತ್ತದೆ

  • ಮರುಪ್ರಯತ್ನ ಕಾರ್ಯವಿಧಾನವು ಡಬಲ್ ರೈಟ್‌ಗಳಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ

  • ಹೊಸ ಉತ್ಪನ್ನ ವೈಶಿಷ್ಟ್ಯವು ಹೊಸ ಈವೆಂಟ್ ಮಾದರಿಗಳನ್ನು ಪರಿಚಯಿಸುತ್ತದೆ

ಪರಿಸ್ಥಿತಿ ತಿಳಿದಿರುವ ಮಾದರಿಯಲ್ಲದಿದ್ದಾಗ AI ದುರ್ಬಲವಾಗಿರುತ್ತದೆ.


ಹೋಲಿಕೆ ಕೋಷ್ಟಕ: ಪ್ರಾಯೋಗಿಕವಾಗಿ ಏನು ಕಡಿಮೆ ಮಾಡುತ್ತಿದೆ 🧾🤔

ಕೆಳಗೆ ಒಂದು ಪ್ರಾಯೋಗಿಕ ದೃಷ್ಟಿಕೋನವಿದೆ. "ಜನರನ್ನು ಬದಲಾಯಿಸುವ ಸಾಧನಗಳು" ಅಲ್ಲ, ಆದರೆ ಕೆಲವು ಕಾರ್ಯಗಳನ್ನು ಕುಗ್ಗಿಸುವ ಸಾಧನಗಳು ಮತ್ತು ವಿಧಾನಗಳು.

ಪರಿಕರ / ವಿಧಾನ ಪ್ರೇಕ್ಷಕರು ಬೆಲೆಯ ವಾತಾವರಣ ಅದು ಏಕೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ
AI ಕೋಡ್ ಕೋಪಿಲಟ್‌ಗಳು (SQL + ಪೈಥಾನ್ ಸಹಾಯಕರು) GitHub ಕೋಪಿಲಟ್ ಬಹಳಷ್ಟು ಕೋಡ್ ಬರೆಯುವ ಎಂಜಿನಿಯರ್‌ಗಳು ಉಚಿತದಿಂದ ಪಾವತಿಸಬಹುದಾದವರೆಗೆ ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್, ರಿಫ್ಯಾಕ್ಟರ್‌ಗಳು, ಸಿಂಟ್ಯಾಕ್ಸ್‌ನಲ್ಲಿ ಅದ್ಭುತ... ಕೆಲವೊಮ್ಮೆ ನಿರ್ದಿಷ್ಟ ರೀತಿಯಲ್ಲಿ ಸ್ಮಗ್ ಮಾಡುತ್ತಾರೆ
ನಿರ್ವಹಿಸಲಾದ ELT ಕನೆಕ್ಟರ್‌ಗಳು FiveTran ತಂಡಗಳು ಸೇವನೆಯನ್ನು ನಿರ್ಮಿಸುವಲ್ಲಿ ಬೇಸತ್ತಿವೆ ಚಂದಾದಾರಿಕೆ-y ಕಸ್ಟಮ್ ಸೇವನೆಯ ನೋವನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ, ಆದರೆ ಮೋಜಿನ ಹೊಸ ವಿಧಾನಗಳಲ್ಲಿ ವಿರಾಮ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ
ದತ್ತಾಂಶ ವೀಕ್ಷಣಾ ವೇದಿಕೆಗಳು ದತ್ತಾಂಶ ವೀಕ್ಷಣಾ ಸಾಮರ್ಥ್ಯ (ಡೈನಾಟ್ರೇಸ್) SLA ಗಳನ್ನು ಹೊಂದಿರುವ ಯಾರಾದರೂ ಮಧ್ಯಮದಿಂದ ಉದ್ಯಮಕ್ಕೆ ವೈಪರೀತ್ಯಗಳನ್ನು ಮೊದಲೇ ಪತ್ತೆ ಮಾಡುತ್ತದೆ - ಪೈಪ್‌ಲೈನ್‌ಗಳಿಗೆ ಹೊಗೆ ಎಚ್ಚರಿಕೆಗಳಂತೆ 🔔
ರೂಪಾಂತರ ಚೌಕಟ್ಟುಗಳು (ಘೋಷಣಾತ್ಮಕ ಮಾದರಿ) ಡಿಬಿಟಿ ವಿಶ್ಲೇಷಣೆ + DE ಮಿಶ್ರತಳಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಉಪಕರಣ + ಕಂಪ್ಯೂಟ್ ತರ್ಕವನ್ನು ಮಾಡ್ಯುಲರ್ ಮತ್ತು ಪರೀಕ್ಷಿಸಬಹುದಾದ, ಕಡಿಮೆ ಸ್ಪಾಗೆಟ್ಟಿಯನ್ನಾಗಿ ಮಾಡುತ್ತದೆ
ಡೇಟಾ ಕ್ಯಾಟಲಾಗ್‌ಗಳು + ಲಾಕ್ಷಣಿಕ ಪದರಗಳು ಡಿಬಿಟಿ ಲಾಕ್ಷಣಿಕ ಪದರ ಮೆಟ್ರಿಕ್ ಗೊಂದಲವಿರುವ ಸಂಸ್ಥೆಗಳು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಅವಲಂಬಿಸಿರುತ್ತದೆ "ಸತ್ಯ"ವನ್ನು ಒಮ್ಮೆ ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ - ಅಂತ್ಯವಿಲ್ಲದ ಮೆಟ್ರಿಕ್ ಚರ್ಚೆಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ
ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ ಟೆಂಪ್ಲೇಟ್‌ಗಳೊಂದಿಗೆ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ವೇದಿಕೆ-ಮನಸ್ಸಿನ ತಂಡಗಳು ಓಪನ್ + ಕಾರ್ಯಾಚರಣೆಗಳ ವೆಚ್ಚ ಕೆಲಸದ ಹರಿವುಗಳನ್ನು ಪ್ರಮಾಣೀಕರಿಸುತ್ತದೆ; ಕಡಿಮೆ ಸ್ನೋಫ್ಲೇಕ್ DAG ಗಳು
AI- ನೆರವಿನ ದಸ್ತಾವೇಜನ್ನು dbt ದಾಖಲೆಗಳ ಉತ್ಪಾದನೆ ದಾಖಲೆಗಳನ್ನು ಬರೆಯುವುದನ್ನು ದ್ವೇಷಿಸುವ ತಂಡಗಳು ಅಗ್ಗದಿಂದ ಮಧ್ಯಮಕ್ಕೆ ಜ್ಞಾನವು ಕಣ್ಮರೆಯಾಗದಂತೆ "ಸಾಕಷ್ಟು ಉತ್ತಮ" ದಾಖಲೆಗಳನ್ನು ಮಾಡುತ್ತದೆ
ಸ್ವಯಂಚಾಲಿತ ಆಡಳಿತ ನೀತಿಗಳು NIST ಗೌಪ್ಯತಾ ಚೌಕಟ್ಟು ನಿಯಂತ್ರಿತ ಪರಿಸರಗಳು ಎಂಟರ್‌ಪ್ರೈಸ್-ವೈ ನಿಯಮಗಳನ್ನು ಜಾರಿಗೊಳಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ - ಆದರೆ ನಿಯಮಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಇನ್ನೂ ಮಾನವರ ಅಗತ್ಯವಿದೆ

ಏನು ಕಾಣೆಯಾಗಿದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ: "ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು ತೆಗೆದುಹಾಕಲು ಬಟನ್ ಒತ್ತಿರಿ" ಎಂದು ಹೇಳುವ ಸಾಲು. ಹೌದು... ಆ ಸಾಲು ಅಸ್ತಿತ್ವದಲ್ಲಿಲ್ಲ 🙃


ಹಾಗಾದರೆ... AI ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ ಅಥವಾ ಪಾತ್ರವನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ? 🛠️

ನಾಟಕೀಯವಲ್ಲದ ಉತ್ತರ ಇಲ್ಲಿದೆ: AI ಕೆಲಸದ ಹರಿವಿನ ಭಾಗಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ, ವೃತ್ತಿಯನ್ನಲ್ಲ.

ಆದರೆ ಅದು ಪಾತ್ರವನ್ನು ಪುನರ್ರಚಿಸುತ್ತದೆ. ಮತ್ತು ನೀವು ಅದನ್ನು ನಿರ್ಲಕ್ಷಿಸಿದರೆ, ನೀವು ಒತ್ತಡವನ್ನು ಅನುಭವಿಸುವಿರಿ .

ಏನು ಬದಲಾವಣೆಗಳು:

  • ಬಾಯ್ಲರ್ ಪ್ಲೇಟ್ ಬರೆಯಲು ಕಡಿಮೆ ಸಮಯ

  • ದಾಖಲೆಗಳನ್ನು ಹುಡುಕಲು ಕಡಿಮೆ ಸಮಯ

  • ಪರಿಶೀಲನೆ, ಮೌಲ್ಯೀಕರಣ, ವಿನ್ಯಾಸಕ್ಕೆ ಹೆಚ್ಚಿನ ಸಮಯ

  • ಒಪ್ಪಂದಗಳು ಮತ್ತು ಗುಣಮಟ್ಟದ ನಿರೀಕ್ಷೆಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲು ಹೆಚ್ಚಿನ ಸಮಯ ಮುಕ್ತ ದತ್ತಾಂಶ ಒಪ್ಪಂದ ಮಾನದಂಡ (ODCS)

  • ಉತ್ಪನ್ನ, ಭದ್ರತೆ, ಹಣಕಾಸು ಜೊತೆ ಪಾಲುದಾರಿಕೆಯಲ್ಲಿ ಹೆಚ್ಚಿನ ಸಮಯ

ಇದು ಸೂಕ್ಷ್ಮ ಬದಲಾವಣೆ: ದತ್ತಾಂಶ ಎಂಜಿನಿಯರಿಂಗ್ "ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು" ಕಡಿಮೆ ಮತ್ತು "ವಿಶ್ವಾಸಾರ್ಹ ದತ್ತಾಂಶ ಉತ್ಪನ್ನ ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸುವುದು" ಹೆಚ್ಚು

ಮತ್ತು ಒಂದು ಶಾಂತವಾದ ತಿರುವು, ಅದು ಕಡಿಮೆಯಲ್ಲ, ಹೆಚ್ಚು ಮೌಲ್ಯಯುತವಾಗಿದೆ.

ಅಲ್ಲದೆ - ಮತ್ತು ಅದು ನಾಟಕೀಯವಾಗಿ ತೋರಿದರೂ ಸಹ ನಾನು ಇದನ್ನು ಹೇಳಲಿದ್ದೇನೆ - AI ಡೇಟಾ ಕಲಾಕೃತಿಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ಜನರ ಸಂಖ್ಯೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ , ಇದು ಇಡೀ ವಿಷಯವನ್ನು ಸ್ವಸ್ಥವಾಗಿಡಲು ಯಾರಾದರೂ ಅಗತ್ಯವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. ಹೆಚ್ಚಿನ ಔಟ್‌ಪುಟ್ ಎಂದರೆ ಹೆಚ್ಚಿನ ಸಂಭಾವ್ಯ ಗೊಂದಲ. GitHub Copilot.

ಇದು ಎಲ್ಲರಿಗೂ ಪವರ್ ಡ್ರಿಲ್ ಕೊಟ್ಟ ಹಾಗೆ. ಅದ್ಭುತ! ಈಗ ಯಾರಾದರೂ "ದಯವಿಟ್ಟು ನೀರಿನ ಪೈಪ್‌ಗೆ ಡ್ರಿಲ್ ಮಾಡಬೇಡಿ" ಎಂಬ ನಿಯಮವನ್ನು ಜಾರಿಗೊಳಿಸಬೇಕಾಗಿದೆ 🪠


(ಎಲ್ಲೆಡೆ AI ಇದ್ದರೂ ಸಹ) ಮೌಲ್ಯಯುತವಾಗಿ ಉಳಿಯುವ ಹೊಸ ಕೌಶಲ್ಯ ಸಂಗ್ರಹ 🧠⚙️

ನೀವು ಪ್ರಾಯೋಗಿಕ "ಭವಿಷ್ಯ-ನಿರೋಧಕ" ಪರಿಶೀಲನಾಪಟ್ಟಿ ಬಯಸಿದರೆ, ಅದು ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:

ವ್ಯವಸ್ಥೆ ವಿನ್ಯಾಸ ಮನಸ್ಥಿತಿ

  • ಬದಲಾವಣೆಯನ್ನು ಉಳಿದುಕೊಂಡಿರುವ ಡೇಟಾ ಮಾಡೆಲಿಂಗ್

  • ಬ್ಯಾಚ್ vs ಸ್ಟ್ರೀಮಿಂಗ್ ರಾಜಿ ವಿನಿಮಯಗಳು

  • ವಿಳಂಬ, ವೆಚ್ಚ, ವಿಶ್ವಾಸಾರ್ಹತೆ ಚಿಂತನೆ

ಡೇಟಾ ಗುಣಮಟ್ಟ ಎಂಜಿನಿಯರಿಂಗ್

ಆಡಳಿತ ಮತ್ತು ವಿಶ್ವಾಸ ರಚನೆ

ವೇದಿಕೆ ಚಿಂತನೆ

ಸಂವಹನ (ಹೌದು, ನಿಜವಾಗಿಯೂ)

  • ಸ್ಪಷ್ಟ ದಾಖಲೆಗಳನ್ನು ಬರೆಯುವುದು

  • ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಜೋಡಿಸುವುದು

  • "ಇಲ್ಲ" ಎಂದು ನಯವಾಗಿ ಆದರೆ ದೃಢವಾಗಿ ಹೇಳುವುದು

  • ರೋಬೋಟ್‌ನಂತೆ ಧ್ವನಿಸದೆ ರಾಜಿ ವಿನಿಮಯಗಳನ್ನು ವಿವರಿಸುವುದು 🤖

ನೀವು ಇವುಗಳನ್ನು ಮಾಡಲು ಸಾಧ್ಯವಾದರೆ, “AI ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?” ಎಂಬ ಪ್ರಶ್ನೆ ಕಡಿಮೆ ಬೆದರಿಕೆಯೊಡ್ಡುತ್ತದೆ. AI ನಿಮ್ಮ ಬದಲಿಯಾಗಿ ಅಲ್ಲ, ಬದಲಾಗಿ ನಿಮ್ಮ ಬಾಹ್ಯ ಅಸ್ಥಿಪಂಜರವಾಗುತ್ತದೆ.


ಕೆಲವು ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಪಾತ್ರಗಳು ಕುಗ್ಗುವ ವಾಸ್ತವಿಕ ಸನ್ನಿವೇಶಗಳು 📉

ಸರಿ, ಸ್ವಲ್ಪ ರಿಯಾಲಿಟಿ ಚೆಕ್ ಮಾಡಿ, ಏಕೆಂದರೆ ಇದೆಲ್ಲವೂ ಸೂರ್ಯಕಾಂತಿ ಮತ್ತು ಎಮೋಜಿ ಕಾನ್ಫೆಟ್ಟಿಯಲ್ಲ 🎉

ಕೆಲವು ಪಾತ್ರಗಳು ಹೆಚ್ಚು ಬಹಿರಂಗಗೊಳ್ಳುತ್ತವೆ:

  • ಎಲ್ಲವೂ ಪ್ರಮಾಣಿತ ಕನೆಕ್ಟರ್‌ಗಳಾಗಿರುವ ಶುದ್ಧ ಸೇವನೆ-ಮಾತ್ರ ಪಾತ್ರಗಳು ಫೈವ್‌ಟ್ರಾನ್ ಕನೆಕ್ಟರ್‌ಗಳು

  • ಕನಿಷ್ಠ ಡೊಮೇನ್ ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳೊಂದಿಗೆ ಹೆಚ್ಚಾಗಿ ಪುನರಾವರ್ತಿತ ವರದಿ ಮಾಡುವ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಮಾಡುತ್ತಿರುವ ತಂಡಗಳು

  • ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಅನ್ನು "SQL ಮಂಗಗಳು" ಎಂದು ಪರಿಗಣಿಸುವ ಸಂಸ್ಥೆಗಳು (ಕಠಿಣ, ಆದರೆ ನಿಜ)

  • ಕಡಿಮೆ ಮಾಲೀಕತ್ವದ ಹುದ್ದೆಗಳಲ್ಲಿ ಕೇವಲ ಟಿಕೆಟ್‌ಗಳು ಮತ್ತು ನಕಲು-ಅಂಟಿಸುವ ಕೆಲಸ ಮಾತ್ರ ಇರುತ್ತದೆ

AI ಜೊತೆಗೆ ನಿರ್ವಹಿಸಲಾದ ಪರಿಕರಗಳು ಆ ಅಗತ್ಯಗಳನ್ನು ಕುಗ್ಗಿಸಬಹುದು.

ಆದರೆ ಅಲ್ಲಿಯೂ ಸಹ, ಬದಲಿ ಸಾಮಾನ್ಯವಾಗಿ ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:

  • ಒಂದೇ ರೀತಿಯ ಪುನರಾವರ್ತಿತ ಕೆಲಸವನ್ನು ಮಾಡುವ ಜನರ ಸಂಖ್ಯೆ ಕಡಿಮೆ

  • ವೇದಿಕೆಯ ಮಾಲೀಕತ್ವ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹತೆಗೆ ಹೆಚ್ಚಿನ ಒತ್ತು

  • "ಒಬ್ಬ ವ್ಯಕ್ತಿ ಹೆಚ್ಚಿನ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸಬಹುದು" ಎಂಬತ್ತ ಬದಲಾವಣೆ

ಹೌದು - ಜನರ ಎಣಿಕೆಯ ಮಾದರಿಗಳು ಬದಲಾಗಬಹುದು. ಪಾತ್ರಗಳು ವಿಕಸನಗೊಳ್ಳುತ್ತವೆ. ಶೀರ್ಷಿಕೆಗಳು ಬದಲಾಗುತ್ತವೆ. ಆ ಭಾಗವು ನಿಜ.

ಆದರೂ, ಹೆಚ್ಚಿನ ಮಾಲೀಕತ್ವ, ಹೆಚ್ಚಿನ ನಂಬಿಕೆಯ ಪಾತ್ರದ ಆವೃತ್ತಿಯು ಉಳಿದುಕೊಂಡಿದೆ.


ಮುಕ್ತಾಯ ಸಾರಾಂಶ 🧾✅

ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು AI ಬದಲಾಯಿಸುತ್ತದೆಯೇ? ಜನರು ಊಹಿಸುವ ಶುದ್ಧ, ಸಂಪೂರ್ಣ ರೀತಿಯಲ್ಲಿ ಅಲ್ಲ.

AI:

  • ಪುನರಾವರ್ತಿತ ಕಾರ್ಯಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಿ

  • ಕೋಡಿಂಗ್, ಡೀಬಗ್ ಮಾಡುವಿಕೆ ಮತ್ತು ದಸ್ತಾವೇಜನ್ನು ವೇಗಗೊಳಿಸಿ dbt ದಸ್ತಾವೇಜೀಕರಣಕ್ಕಾಗಿ GitHub ಕೋಪಿಲಟ್

  • ಪೈಪ್‌ಲೈನ್‌ಗಳ ಉತ್ಪಾದನಾ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಿ

ಆದರೆ ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಮೂಲಭೂತವಾಗಿ ಇದರ ಬಗ್ಗೆ:

AI ಅದಕ್ಕೆ ಸಹಾಯ ಮಾಡಬಹುದು... ಆದರೆ ಅದು ಅದನ್ನು "ಸ್ವಂತ" ಮಾಡಿಕೊಳ್ಳುವುದಿಲ್ಲ.

ನೀವು ಡೇಟಾ ಎಂಜಿನಿಯರ್ ಆಗಿದ್ದರೆ, ಈ ನಡೆ ಸರಳವಾಗಿದೆ (ಸುಲಭವಲ್ಲ, ಆದರೆ ಸರಳ):
ಮಾಲೀಕತ್ವ, ಗುಣಮಟ್ಟ, ವೇದಿಕೆಯ ಚಿಂತನೆ ಮತ್ತು ಸಂವಹನದತ್ತ ಒಲವು ತೋರಿ. ನೀವು ಮುಖ್ಯವಾದ ಭಾಗಗಳನ್ನು ನಿರ್ವಹಿಸುವಾಗ AI ಬಾಯ್ಲರ್‌ಪ್ಲೇಟ್ ಅನ್ನು ನಿಭಾಯಿಸಲಿ.

ಮತ್ತು ಹೌದು - ಕೆಲವೊಮ್ಮೆ ಅದು ಕೋಣೆಯಲ್ಲಿ ದೊಡ್ಡವನಾಗಿರುವುದರ ಅರ್ಥ. ಆಕರ್ಷಕವಾಗಿಲ್ಲ. ಶಾಂತವಾಗಿ ಶಕ್ತಿಶಾಲಿಯಾಗಿದ್ದರೂ 😄

AI ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆಯೇ?
ಇದು ಕೆಲವು ಕಾರ್ಯಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತದೆ, ಏಣಿಯನ್ನು ಪುನರ್ರಚಿಸುತ್ತದೆ ಮತ್ತು ಅತ್ಯುತ್ತಮ ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು ಇನ್ನಷ್ಟು ಮೌಲ್ಯಯುತವಾಗಿಸುತ್ತದೆ. ಅದೇ ನಿಜವಾದ ಕಥೆ.


ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

AI ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆಯೇ?

ಹೆಚ್ಚಿನ ಸಂಸ್ಥೆಗಳಲ್ಲಿ, AI ಪಾತ್ರವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಅಳಿಸಿಹಾಕುವ ಬದಲು ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಗಳನ್ನು ವಹಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚು. ಇದು SQL ಡ್ರಾಫ್ಟಿಂಗ್, ಪೈಪ್‌ಲೈನ್ ಸ್ಕ್ಯಾಫೋಲ್ಡಿಂಗ್, ದಸ್ತಾವೇಜೀಕರಣದ ಮೊದಲ ಪಾಸ್‌ಗಳು ಮತ್ತು ಮೂಲ ಪರೀಕ್ಷಾ ರಚನೆಯನ್ನು ವೇಗಗೊಳಿಸಬಹುದು. ಆದರೆ ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಮಾಲೀಕತ್ವ ಮತ್ತು ಹೊಣೆಗಾರಿಕೆಯನ್ನು ಸಹ ಹೊಂದಿದೆ, ಜೊತೆಗೆ ಗೊಂದಲಮಯ ವ್ಯವಹಾರ ವಾಸ್ತವವನ್ನು ವಿಶ್ವಾಸಾರ್ಹ ವ್ಯವಸ್ಥೆಯಂತೆ ವರ್ತಿಸುವಂತೆ ಮಾಡುವ ಅಶ್ಲೀಲ ಕೆಲಸವನ್ನು ಸಹ ಹೊಂದಿದೆ. ಆ ಭಾಗಗಳಿಗೆ "ಸರಿ" ಹೇಗಿರುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ಮತ್ತು ವಿಷಯಗಳು ಮುರಿದಾಗ ಜವಾಬ್ದಾರಿಯನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ಮಾನವರು ಇನ್ನೂ ಅಗತ್ಯವಿದೆ.

ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್‌ನ ಯಾವ ಭಾಗಗಳನ್ನು AI ಈಗಾಗಲೇ ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತಿದೆ?

ಪುನರಾವರ್ತಿತ ಕೆಲಸಗಳಲ್ಲಿ AI ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ: SQL ಅನ್ನು ರಚಿಸುವುದು ಮತ್ತು ಮರುಫ್ಯಾಕ್ಟರಿಂಗ್ ಮಾಡುವುದು, dbt ಮಾದರಿ ಅಸ್ಥಿಪಂಜರಗಳನ್ನು ರಚಿಸುವುದು, ಸಾಮಾನ್ಯ ದೋಷಗಳನ್ನು ವಿವರಿಸುವುದು ಮತ್ತು ದಸ್ತಾವೇಜನ್ನು ರೂಪರೇಷೆಗಳನ್ನು ಉತ್ಪಾದಿಸುವುದು. ಇದು ಶೂನ್ಯ ಅಥವಾ ಅನನ್ಯತೆಯ ಪರಿಶೀಲನೆಗಳಂತಹ ಸ್ಕ್ಯಾಫೋಲ್ಡ್ ಪರೀಕ್ಷೆಗಳನ್ನು ಸಹ ಮಾಡಬಹುದು ಮತ್ತು ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಪರಿಕರಗಳಿಗಾಗಿ ಟೆಂಪ್ಲೇಟ್ "ಗ್ಲೂ" ಕೋಡ್ ಅನ್ನು ರಚಿಸಬಹುದು. ಗೆಲುವು ಆವೇಗವಾಗಿದೆ - ನೀವು ಕೆಲಸ ಮಾಡುವ ಪರಿಹಾರಕ್ಕೆ ಹತ್ತಿರವಾಗಲು ಪ್ರಾರಂಭಿಸುತ್ತೀರಿ - ಆದರೆ ನೀವು ಇನ್ನೂ ಸರಿಯಾಗಿರುವುದನ್ನು ಮೌಲ್ಯೀಕರಿಸಬೇಕು ಮತ್ತು ಅದು ನಿಮ್ಮ ಪರಿಸರಕ್ಕೆ ಸರಿಹೊಂದುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಬೇಕು.

AI SQL ಮತ್ತು ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಬರೆಯಲು ಸಾಧ್ಯವಾದರೆ, ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳಿಗೆ ಏನು ಉಳಿದಿದೆ?

ಬಹಳಷ್ಟು: ಡೇಟಾ ಒಪ್ಪಂದಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವುದು, ಸ್ಕೀಮಾ ಡ್ರಿಫ್ಟ್ ಅನ್ನು ನಿರ್ವಹಿಸುವುದು ಮತ್ತು ಪೈಪ್‌ಲೈನ್‌ಗಳು ಸ್ವತಂತ್ರ, ಗಮನಿಸಬಹುದಾದ ಮತ್ತು ಮರುಪಡೆಯಬಹುದಾದವು ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು. ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳು ಮೆಟ್ರಿಕ್ ಬದಲಾವಣೆಗಳನ್ನು ತನಿಖೆ ಮಾಡಲು, ಡೌನ್‌ಸ್ಟ್ರೀಮ್ ಬಳಕೆದಾರರಿಗಾಗಿ ಗಾರ್ಡ್‌ರೈಲ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ವೆಚ್ಚ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹತೆಯ ವಹಿವಾಟುಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಸಮಯವನ್ನು ಕಳೆಯುತ್ತಾರೆ. ಕೆಲಸವು ಸಾಮಾನ್ಯವಾಗಿ ನಂಬಿಕೆಯನ್ನು ಬೆಳೆಸುವುದು ಮತ್ತು ಡೇಟಾ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಅನ್ನು "ಸ್ತಬ್ಧ"ವಾಗಿಡುವುದು, ಅಂದರೆ ಯಾರೂ ಅದರ ಬಗ್ಗೆ ದಿನದಿಂದ ದಿನಕ್ಕೆ ಯೋಚಿಸಬೇಕಾಗಿಲ್ಲದಷ್ಟು ಸ್ಥಿರವಾಗಿರುತ್ತದೆ.

ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ನ ದಿನನಿತ್ಯದ ಕೆಲಸವನ್ನು AI ಹೇಗೆ ಬದಲಾಯಿಸುತ್ತದೆ?

ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಬಾಯ್ಲರ್‌ಪ್ಲೇಟ್ ಮತ್ತು "ಲುಕಪ್ ಸಮಯ"ವನ್ನು ಟ್ರಿಮ್ ಮಾಡುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ಟೈಪ್ ಮಾಡುವ ಸಮಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತೀರಿ ಮತ್ತು ಪರಿಶೀಲಿಸಲು, ಮೌಲ್ಯೀಕರಿಸಲು ಮತ್ತು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಹೆಚ್ಚು ಸಮಯವನ್ನು ಕಳೆಯುತ್ತೀರಿ. ಆ ಬದಲಾವಣೆಯು ಎಲ್ಲವನ್ನೂ ಕೈಯಿಂದ ಕೋಡಿಂಗ್ ಮಾಡುವ ಬದಲು ನಿರೀಕ್ಷೆಗಳು, ಗುಣಮಟ್ಟದ ಮಾನದಂಡಗಳು ಮತ್ತು ಮರುಬಳಕೆ ಮಾಡಬಹುದಾದ ಮಾದರಿಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ ಕಡೆಗೆ ಪಾತ್ರವನ್ನು ತಳ್ಳುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕವಾಗಿ, ನೀವು ಉತ್ಪನ್ನ, ಭದ್ರತೆ ಮತ್ತು ಹಣಕಾಸಿನೊಂದಿಗೆ ಹೆಚ್ಚಿನ ಪಾಲುದಾರಿಕೆ ಕೆಲಸವನ್ನು ಮಾಡುವ ಸಾಧ್ಯತೆಯಿದೆ - ಏಕೆಂದರೆ ತಾಂತ್ರಿಕ ಔಟ್‌ಪುಟ್ ರಚಿಸಲು ಸುಲಭವಾಗುತ್ತದೆ, ಆದರೆ ಆಡಳಿತ ನಡೆಸಲು ಕಷ್ಟವಾಗುತ್ತದೆ.

"ಸಕ್ರಿಯ ಬಳಕೆದಾರ" ನಂತಹ ಅಸ್ಪಷ್ಟ ವ್ಯವಹಾರ ವ್ಯಾಖ್ಯಾನಗಳೊಂದಿಗೆ AI ಏಕೆ ಹೋರಾಡುತ್ತಿದೆ?

ವ್ಯವಹಾರ ತರ್ಕವು ಸ್ಥಿರ ಅಥವಾ ನಿಖರವಾಗಿಲ್ಲದ ಕಾರಣ - ಇದು ಯೋಜನೆಯ ಮಧ್ಯದಲ್ಲಿ ಬದಲಾಗುತ್ತದೆ ಮತ್ತು ಪಾಲುದಾರರಿಂದ ಪಾಲುದಾರರಿಗೆ ಬದಲಾಗುತ್ತದೆ. AI ವ್ಯಾಖ್ಯಾನವನ್ನು ರಚಿಸಬಹುದು, ಆದರೆ ವ್ಯಾಖ್ಯಾನಗಳು ವಿಕಸನಗೊಂಡಾಗ ಅಥವಾ ಸಂಘರ್ಷಗಳು ಕಾಣಿಸಿಕೊಂಡಾಗ ಅದು ನಿರ್ಧಾರವನ್ನು ಹೊಂದಲು ಸಾಧ್ಯವಿಲ್ಲ. ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್‌ಗೆ ಆಗಾಗ್ಗೆ ಮಾತುಕತೆ, ಊಹೆಗಳನ್ನು ದಾಖಲಿಸುವುದು ಮತ್ತು ಅಸ್ಪಷ್ಟ ಅವಶ್ಯಕತೆಗಳನ್ನು ಬಾಳಿಕೆ ಬರುವ ಒಪ್ಪಂದಗಳಾಗಿ ಪರಿವರ್ತಿಸುವ ಅಗತ್ಯವಿರುತ್ತದೆ. ಆ "ಮಾನವ ಜೋಡಣೆ" ಕೆಲಸವು ಪರಿಕರಗಳು ಸುಧಾರಿಸಿದರೂ ಪಾತ್ರವು ಕಣ್ಮರೆಯಾಗದಿರಲು ಒಂದು ಪ್ರಮುಖ ಕಾರಣವಾಗಿದೆ.

ಡೇಟಾ ಆಡಳಿತ, ಗೌಪ್ಯತೆ ಮತ್ತು ಅನುಸರಣೆ ಕೆಲಸವನ್ನು AI ಸುರಕ್ಷಿತವಾಗಿ ನಿರ್ವಹಿಸಬಹುದೇ?

AI ನೀತಿಗಳನ್ನು ರೂಪಿಸಲು ಅಥವಾ ವಿಧಾನಗಳನ್ನು ಸೂಚಿಸಲು ಸಹಾಯ ಮಾಡಬಹುದು, ಆದರೆ ಸುರಕ್ಷಿತ ಅನುಷ್ಠಾನಕ್ಕೆ ಇನ್ನೂ ನಿಜವಾದ ಎಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಎಚ್ಚರಿಕೆಯ ಮೇಲ್ವಿಚಾರಣೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ. ಆಡಳಿತವು ಪ್ರವೇಶ ನಿಯಂತ್ರಣಗಳು, PII ನಿರ್ವಹಣೆ, ಧಾರಣ ನಿಯಮಗಳು, ಆಡಿಟ್ ಟ್ರೇಲ್‌ಗಳು ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ನಿವಾಸ ನಿರ್ಬಂಧಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಇವುಗಳು "ಬಹುತೇಕ ಸರಿ" ಸ್ವೀಕಾರಾರ್ಹವಲ್ಲದ ಹೆಚ್ಚಿನ ಅಪಾಯದ ಕ್ಷೇತ್ರಗಳಾಗಿವೆ. ಮಾನವರು ನಿಯಮಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಬೇಕು, ಜಾರಿಗೊಳಿಸುವಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸಬೇಕು ಮತ್ತು ಅನುಸರಣೆ ಫಲಿತಾಂಶಗಳಿಗೆ ಜವಾಬ್ದಾರರಾಗಿರಬೇಕು.

AI ಸುಧಾರಿಸಿದಂತೆ ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳಿಗೆ ಯಾವ ಕೌಶಲ್ಯಗಳು ಮೌಲ್ಯಯುತವಾಗಿ ಉಳಿಯುತ್ತವೆ?

ವ್ಯವಸ್ಥೆಗಳನ್ನು ಸ್ಥಿತಿಸ್ಥಾಪಕವಾಗಿಸುವ ಕೌಶಲ್ಯಗಳು: ಸಿಸ್ಟಮ್ ವಿನ್ಯಾಸ ಚಿಂತನೆ, ಡೇಟಾ ಗುಣಮಟ್ಟದ ಎಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್-ಮೈಂಡೆಡ್ ಪ್ರಮಾಣೀಕರಣ. ಹೆಚ್ಚಿನ ಜನರು ಡೇಟಾ ಕಲಾಕೃತಿಗಳನ್ನು ತ್ವರಿತವಾಗಿ ಉತ್ಪಾದಿಸಲು ಸಾಧ್ಯವಾದಾಗ ಒಪ್ಪಂದಗಳು, ವೀಕ್ಷಣೆ, ಘಟನೆ ಪ್ರತಿಕ್ರಿಯೆ ಅಭ್ಯಾಸಗಳು ಮತ್ತು ಶಿಸ್ತಿನ ಮೂಲ ಕಾರಣ ವಿಶ್ಲೇಷಣೆ ಇನ್ನಷ್ಟು ಮುಖ್ಯವಾಗುತ್ತವೆ. ಸಂವಹನವು ವಿಭಿನ್ನತೆಯೂ ಆಗುತ್ತದೆ - ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಜೋಡಿಸುವುದು, ಸ್ಪಷ್ಟ ದಾಖಲೆಗಳನ್ನು ಬರೆಯುವುದು ಮತ್ತು ನಾಟಕವಿಲ್ಲದೆ ಟ್ರೇಡ್‌ಆಫ್‌ಗಳನ್ನು ವಿವರಿಸುವುದು ಡೇಟಾವನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಡುವಲ್ಲಿ ದೊಡ್ಡ ಭಾಗವಾಗಿದೆ.

AI ಮತ್ತು ನಿರ್ವಹಿಸಿದ ಪರಿಕರಗಳಿಂದ ಯಾವ ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್ ಪಾತ್ರಗಳು ಹೆಚ್ಚು ಅಪಾಯದಲ್ಲಿವೆ?

ಪುನರಾವರ್ತಿತ ಸೇವನೆ ಅಥವಾ ಪ್ರಮಾಣಿತ ವರದಿ ಮಾಡುವ ಪೈಪ್‌ಲೈನ್‌ಗಳ ಮೇಲೆ ಸಂಕುಚಿತವಾಗಿ ಕೇಂದ್ರೀಕರಿಸಿದ ಪಾತ್ರಗಳು ಹೆಚ್ಚು ಬಹಿರಂಗಗೊಳ್ಳುತ್ತವೆ, ವಿಶೇಷವಾಗಿ ನಿರ್ವಹಿಸಲಾದ ELT ಕನೆಕ್ಟರ್‌ಗಳು ಹೆಚ್ಚಿನ ಮೂಲಗಳನ್ನು ಒಳಗೊಂಡಾಗ. ಕಡಿಮೆ-ಮಾಲೀಕತ್ವ, ಟಿಕೆಟ್-ಚಾಲಿತ ಕೆಲಸವು ಕುಗ್ಗಬಹುದು ಏಕೆಂದರೆ AI ಮತ್ತು ಅಮೂರ್ತತೆಯು ಪ್ರತಿ ಪೈಪ್‌ಲೈನ್‌ಗೆ ಪ್ರಯತ್ನವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಆದರೆ ಇದು ಸಾಮಾನ್ಯವಾಗಿ "ಡೇಟಾ ಎಂಜಿನಿಯರ್‌ಗಳಿಲ್ಲ" ಎಂದು ಅಲ್ಲ, ಪುನರಾವರ್ತಿತ ಕಾರ್ಯಗಳನ್ನು ಮಾಡುವ ಕಡಿಮೆ ಜನರಂತೆ ಕಾಣುತ್ತದೆ. ವಿಶ್ವಾಸಾರ್ಹತೆ, ಗುಣಮಟ್ಟ ಮತ್ತು ನಂಬಿಕೆಯ ಮೇಲೆ ಕೇಂದ್ರೀಕೃತವಾದ ಉನ್ನತ-ಮಾಲೀಕತ್ವದ ಪಾತ್ರಗಳು ಬಾಳಿಕೆ ಬರುವಂತೆ ಉಳಿಯುತ್ತವೆ.

ಗೊಂದಲ ಸೃಷ್ಟಿಸದೆ AI ನೊಂದಿಗೆ GitHub Copilot ಅಥವಾ dbt ನಂತಹ ಪರಿಕರಗಳನ್ನು ನಾನು ಹೇಗೆ ಬಳಸಬಹುದು?

AI ಔಟ್‌ಪುಟ್ ಅನ್ನು ನಿರ್ಧಾರದಂತೆ ಅಲ್ಲ, ಡ್ರಾಫ್ಟ್ ಆಗಿ ಪರಿಗಣಿಸಿ. ಪ್ರಶ್ನೆ ಅಸ್ಥಿಪಂಜರಗಳನ್ನು ರಚಿಸಲು, ಓದುವಿಕೆಯನ್ನು ಸುಧಾರಿಸಲು ಅಥವಾ ಸ್ಕ್ಯಾಫೋಲ್ಡ್ ಡಿಬಿಟಿ ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ದಾಖಲೆಗಳನ್ನು ಬಳಸಲು ಇದನ್ನು ಬಳಸಿ, ನಂತರ ನೈಜ ಡೇಟಾ ಮತ್ತು ಅಂಚಿನ ಪ್ರಕರಣಗಳ ವಿರುದ್ಧ ಮೌಲ್ಯೀಕರಿಸಿ. ಬಲವಾದ ಸಂಪ್ರದಾಯಗಳೊಂದಿಗೆ ಇದನ್ನು ಜೋಡಿಸಿ: ಒಪ್ಪಂದಗಳು, ಹೆಸರಿಸುವ ಮಾನದಂಡಗಳು, ವೀಕ್ಷಣಾ ಪರಿಶೀಲನೆಗಳು ಮತ್ತು ವಿಮರ್ಶೆ ಅಭ್ಯಾಸಗಳು. ವಿಶ್ವಾಸಾರ್ಹತೆ, ವೆಚ್ಚ ನಿಯಂತ್ರಣ ಅಥವಾ ಆಡಳಿತವನ್ನು ತ್ಯಾಗ ಮಾಡದೆ ವೇಗವಾಗಿ ತಲುಪಿಸುವುದು ಗುರಿಯಾಗಿದೆ.

ಉಲ್ಲೇಖಗಳು

  1. ಯುರೋಪಿಯನ್ ಆಯೋಗ - ಡೇಟಾ ಸಂರಕ್ಷಣೆಯ ವಿವರಣೆ: GDPR ತತ್ವಗಳು - commission.europa.eu

  2. ಮಾಹಿತಿ ಆಯುಕ್ತರ ಕಚೇರಿ (ICO) - ಸಂಗ್ರಹಣೆ ಮಿತಿ - ico.org.uk

  3. ಯುರೋಪಿಯನ್ ಕಮಿಷನ್ - ಡೇಟಾವನ್ನು ಎಷ್ಟು ಸಮಯದವರೆಗೆ ಇಡಬಹುದು ಮತ್ತು ಅದನ್ನು ನವೀಕರಿಸುವುದು ಅಗತ್ಯವೇ? - commission.europa.eu

  4. ರಾಷ್ಟ್ರೀಯ ಗುಣಮಟ್ಟ ಮತ್ತು ತಂತ್ರಜ್ಞಾನ ಸಂಸ್ಥೆ (NIST) - ಗೌಪ್ಯತಾ ಚೌಕಟ್ಟು - nist.gov

  5. NIST ಕಂಪ್ಯೂಟರ್ ಸೆಕ್ಯುರಿಟಿ ರಿಸೋರ್ಸ್ ಸೆಂಟರ್ (CSRC) - SP 800-92: ಕಂಪ್ಯೂಟರ್ ಸೆಕ್ಯುರಿಟಿ ಲಾಗ್ ನಿರ್ವಹಣೆಗೆ ಮಾರ್ಗದರ್ಶಿ - csrc.nist.gov

  6. ಇಂಟರ್ನೆಟ್ ಸೆಕ್ಯುರಿಟಿ ಸೆಂಟರ್ (CIS) - ಆಡಿಟ್ ಲಾಗ್ ಮ್ಯಾನೇಜ್ಮೆಂಟ್ (CIS ನಿಯಂತ್ರಣಗಳು) - cisecurity.org

  7. ಸ್ನೋಫ್ಲೇಕ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಸಾಲು ಪ್ರವೇಶ ನೀತಿಗಳು - docs.snowflake.com

  8. Google ಕ್ಲೌಡ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - BigQuery ಸಾಲು-ಮಟ್ಟದ ಭದ್ರತೆ - docs.cloud.google.com

  9. BITOL - ಓಪನ್ ಡೇಟಾ ಕಾಂಟ್ರಾಕ್ಟ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ (ODCS) v3.1.0 - bitol-io.github.io

  10. BITOL (GitHub) - ಓಪನ್ ಡೇಟಾ ಕಾಂಟ್ರಾಕ್ಟ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ - github.com

  11. ಅಪಾಚೆ ಗಾಳಿಯ ಹರಿವು - ದಾಖಲೆ (ಸ್ಥಿರ) - airflow.apache.org

  12. ಅಪಾಚೆ ಏರ್‌ಫ್ಲೋ - ಡಿಎಜಿಗಳು (ಪ್ರಮುಖ ಪರಿಕಲ್ಪನೆಗಳು) - airflow.apache.org

  13. ಡಿಬಿಟಿ ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡಿಬಿಟಿ ಎಂದರೇನು? - docs.getdbt.com

  14. ಡಿಬಿಟಿ ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡಿಬಿಟಿ ಮಾದರಿಗಳ ಬಗ್ಗೆ - docs.getdbt.com

  15. ಡಿಬಿಟಿ ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - docs.getdbt.com

  16. dbt ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡೇಟಾ ಪರೀಕ್ಷೆಗಳು - docs.getdbt.com

  17. dbt ಲ್ಯಾಬ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - dbt ಸೆಮ್ಯಾಂಟಿಕ್ ಲೇಯರ್ - docs.getdbt.com

  18. ಫೈವ್‌ಟ್ರಾನ್ ದಸ್ತಾವೇಜೀಕರಣ - ಪ್ರಾರಂಭಿಸುವುದು - fivetran.com

  19. ಫೈವ್‌ಟ್ರಾನ್ - ಕನೆಕ್ಟರ್‌ಗಳು - fivetran.com

  20. AWS ದಸ್ತಾವೇಜೀಕರಣ - AWS ಲ್ಯಾಂಬ್ಡಾ ಡೆವಲಪರ್ ಮಾರ್ಗದರ್ಶಿ - docs.aws.amazon.com

  21. ಗಿಟ್‌ಹಬ್ - ಗಿಟ್‌ಹಬ್ ಕೋಪಿಲಟ್ - ಗಿಥಬ್.ಕಾಮ್

  22. GitHub ಡಾಕ್ಸ್ - GitHub Copilot ಮೂಲಕ ನಿಮ್ಮ IDE ನಲ್ಲಿ ಕೋಡ್ ಸಲಹೆಗಳನ್ನು ಪಡೆಯುವುದು - docs.github.com

  23. ಮೈಕ್ರೋಸಾಫ್ಟ್ ಲರ್ನ್ - SQL ಗಾಗಿ ಗಿಟ್‌ಹಬ್ ಕೊಪಿಲಟ್ (VS ಕೋಡ್ ವಿಸ್ತರಣೆ) - learn.microsoft.com

  24. ಡೈನಾಟ್ರೇಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಡೇಟಾ ವೀಕ್ಷಣೆ - docs.dynatrace.com

  25. ಡೇಟಾಗ್ಯಾಲಕ್ಸಿ - ಡೇಟಾ ವೀಕ್ಷಣೆ ಎಂದರೇನು? - datagalaxy.com

  26. ಗ್ರೇಟ್ ಎಕ್ಸ್‌ಪೆಕ್ಟೇಷನ್ಸ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - ಎಕ್ಸ್‌ಪೆಕ್ಟೇಷನ್ಸ್ ಅವಲೋಕನ - docs.greatexpectations.io

ಅಧಿಕೃತ AI ಸಹಾಯಕ ಅಂಗಡಿಯಲ್ಲಿ ಇತ್ತೀಚಿನ AI ಅನ್ನು ಹುಡುಕಿ

ನಮ್ಮ ಬಗ್ಗೆ

ಬ್ಲಾಗ್‌ಗೆ ಹಿಂತಿರುಗಿ