View Single Post
  #6  
Old 21-08-2019, 10:19
hninja222 hninja222 is offline
K.I.A
 
Join Date: 12-2010
Posts: 2,730
Re: Hướng đi nào cho Data Engineer, BI, Data Warehouse, Big Data.

Quote:
Originally Posted by zzchaolegionzz View Post
Bác hỏi sâu hơn về DWH thì em chịu, em là dev application chứ đến data model các kiểu thì em chưa tìm hiểu. Có điều em thấy thế này, với 1k7 1 tháng mà dùng các open source thì thế nảo nhỉ? Tự host, tự cài, tự quản lý các service như Kafka, SQL server thay bằng Postgres, report thì tự viết app query rồi lưu xuống db nào đó xong tự build cái UI để hiển thị.
Hay là bắt buộc phải dùng service của Microsoft?
Bên mình trong danh sách yêu cầu tối cao có 1 yêu cầu là không được phép mang data ra khỏi Data Center hiện tại (là cái cloud Azure mà công ty đang xài), nên là Data Warehouse của bên mình 99% là sẽ (phải) xài solution on-cloud của Microsoft. Với lại người ta cũng muốn dùng cloud hơn. Chứ nếu có thể xài local thì ít nhất mình đã không bị kẹt vụ yêu cầu ngân sách để chạy test thử.

Mà cho mình hỏi 1 chút, bên bác là dùng query để chọc thẳng xuống data warehouse để lấy dữ liệu lên làm report à? Mình nghĩ người ta sẽ xây 1 cái cục semantic model (OLAP), data engineer người ta sẽ viết sẵn hết các công thức, lo sẵn hết các thể loại quan hệ giữa các bảng, chuyển đổi hết các term kĩ thuật thành từ ngữ ai cũng hiểu được. Còn người làm report chỉ việc lo dùng tool BI kéo thả, vẽ vời trình bày đồ họa thôi chứ nhỉ.

Với lại cho mình hỏi bên bác có xài Kafka à, bên bác dùng nó để làm cái gì vậy?

Hiện giờ thì use-case mình chỉ nghĩ được đến việc dùng nó để xử lý log trong hệ thống, mỗi lần hệ thống ghi log thì đồng thời cũng bắn tín hiệu đến cái Kafka, ghi đống lỗi đó vào 1 topic nào đó, từ đó có thể thống kê phân tích log theo real-time.
Reply With Quote