Microsoft Fabric và Databricks · Phần 2/5
Bài viết này thuộc loạt bài Microsoft Fabric và Databricks gồm năm phần. Anh chị có thể đọc các phần trong loạt bài dưới đây:
Microsoft Fabric giúp doanh nghiệp nhỏ tiếp cận một nền tảng dữ liệu hoàn chỉnh. Giá khởi điểm thấp, Power BI nằm sẵn trong nền tảng, và đội ngũ có thể bắt đầu mà không phải ghép nhiều dịch vụ riêng lẻ. Điều cần hiểu trước khi lựa chọn là cách năng lực xử lý dùng chung vận hành khi nhu cầu của đội ngũ tăng lên.
Một nền tảng mang lại những gì?
Fabric đưa việc nạp dữ liệu, xử lý kỹ thuật, lưu trữ, phân tích và báo cáo vào cùng một môi trường. OneLake cung cấp lớp lưu trữ chung. Pipeline trong Data Factory điều phối việc nạp và biến đổi dữ liệu; notebook Spark xử lý dữ liệu trong lakehouse, còn warehouse cung cấp khả năng biến đổi và phân tích bằng SQL. Power BI đảm nhiệm lớp báo cáo. Đội ngũ có thể đi từ dữ liệu nguồn đến báo cáo mà không cần tích hợp một sản phẩm riêng ở từng bước. Tổng quan của Microsoft (tài liệu tiếng Anh) giải thích cách các nhóm chức năng này kết nối với nhau.
Với một đội ngũ nhỏ, chúng tôi cho rằng sự tích hợp đó là lý do thuyết phục nhất. Chuyên viên phân tích nghiệp vụ có thể dùng công cụ trực quan, còn kỹ sư làm việc bằng notebook và mã nguồn. Nếu đã quen với Microsoft 365 và Power BI, đội ngũ sẽ có ít thứ mới phải học hơn. Tuy vậy, vẫn cần thiết kế quyền truy cập, các luồng xử lý dữ liệu đáng tin cậy và những báo cáo thực sự hữu ích. Mua nền tảng không đồng nghĩa với việc những công việc đó đã được làm thay.
Giá khởi điểm và những khoản chưa nằm trong đó
Gói năng lực xử lý (capacity) được cấp sẵn nhỏ nhất của Fabric là F2, gồm hai đơn vị năng lực xử lý (Capacity Unit, CU). Tại East Asia và East US, chi phí theo mức sử dụng (pay-as-you-go) từ khoảng 263 đô la Mỹ mỗi tháng, với giả định chạy liên tục 730 giờ. Nếu đặt trước một năm, chi phí cho cùng mức năng lực xử lý tại các khu vực đó tương đương khoảng 156 đô la Mỹ mỗi tháng.
Đây là ước tính chỉ riêng phần năng lực xử lý, chưa gồm thuế, lưu trữ và các khoản phí khác có thể áp dụng. Chi phí thực tế phụ thuộc vào khu vực triển khai, hợp đồng, thời gian hoạt động và các dịch vụ được chọn.
Với pay-as-you-go (PAYG), doanh nghiệp trả phí cho thời gian capacity đang chạy. Nếu tạm dừng trong một nửa tháng và chỉ tiếp tục khi cần, phí capacity cơ bản bằng khoảng 50% mức chạy cả tháng: khoảng 131 USD trong ví dụ này, thấp hơn mức tương đương 156 USD mỗi tháng của phương án đặt trước. Để capacity chạy nhưng không dùng không tạo ra khoản tiết kiệm đó. Khi tạm dừng, phần sử dụng còn tồn từ smoothing và phần vượt mức vẫn được tính phí; lưu trữ và các khoản khác được tính riêng. Xem hướng dẫn tạm dừng và tiếp tục (tài liệu tiếng Anh).
Đặt trước là một cam kết chi phí, nên tạm dừng capacity không xóa khoản phải trả. Chỉ nên đặt trước khi đã biết capacity sẽ chạy đủ thường xuyên để khoản giảm giá có lợi. Chạy liên tục 24/7 là một trường hợp rõ ràng, nhưng không phải trường hợp duy nhất: với các mức giá trên, điểm hòa vốn đơn giản của phí cơ bản là khoảng 59% thời gian hoạt động (156,33 / 262,80). Hãy tự so sánh số giờ dự kiến chạy, phí quyết toán khi tạm dừng và chi phí đặt trước tại khu vực của mình. Xem hướng dẫn đặt trước của Microsoft (tài liệu tiếng Anh).
Microsoft còn công bố F0 không cấp sẵn năng lực xử lý (zero-provisioned) cùng cơ chế tính phí theo nhu cầu rộng hơn tại FabCon ở Barcelona. F2 vẫn là gói cấp sẵn nhỏ nhất, với hai CU; F0 là cách bắt đầu khác, không cần chọn trước mức tính toán cơ bản. Các nhóm tác vụ được hỗ trợ mặc định dùng cơ chế tính phí theo nhu cầu, dựa trên tài nguyên thực tế đã tiêu thụ. Trong thông báo của Microsoft, các khả năng này được giới thiệu là bản xem trước sắp triển khai trong những tuần tiếp theo. Chúng tôi chưa xác nhận bản xem trước công khai đã sẵn sàng sử dụng.
Cách tiếp cận này hứa hẹn linh hoạt hơn cho thử nghiệm và các tác vụ chạy không đều. Không cấp sẵn tài nguyên nghĩa là không phải trả phí duy trì phần tính toán được cấp sẵn nhưng để trống; nếu không tiêu thụ tài nguyên tính toán có tính phí, sẽ không có phí tính toán theo mức sử dụng. Lưu trữ và các khoản phí khác vẫn có thể phát sinh; tác vụ theo lịch hoặc chạy nền vẫn là hoạt động sử dụng. Bản tổng hợp tính năng của Microsoft mô tả cách tính CU-giờ theo nhu cầu không áp dụng smoothing, với hệ số nhân trên giá capacity PAYG thay đổi theo nhóm tác vụ. Tài liệu đó chưa nêu các hệ số cụ thể, nên chúng tôi chưa thể định lượng phần chênh lệch so với PAYG của F2 trở lên. Cần so sánh chi phí tác vụ thực tế khi giá và khả năng cung cấp được xác nhận.
Giấy phép Power BI cần được tính thành một khoản riêng. Với hình thức chia sẻ báo cáo nội bộ thông thường trên F2, người xem thường cần giấy phép Power BI Pro hoặc Premium Per User. Từ F64 trở lên, có thể sử dụng giấy phép miễn phí cho người xem, tùy vai trò trong workspace và điều kiện cấp phép. Giá F2 không phải là tổng chi phí báo cáo cho cả doanh nghiệp. Xem hướng dẫn cấp phép của Microsoft (tài liệu tiếng Anh).
Khu vực triển khai làm thay đổi hóa đơn
Cùng một mức năng lực xử lý F2 nhưng giá khác nhau theo khu vực:
| Khu vực Azure | Chi phí năng lực xử lý F2 ước tính mỗi tháng |
|---|---|
| East Asia / East US | 263 USD |
| North Europe, Ireland | 277 USD |
| West Europe, Hà Lan | 321 USD |
| Norway West | 453 USD |
Theo mức sử dụng, 730 giờ. Chỉ tính năng lực xử lý.
Trong phép so sánh này, Ireland rẻ hơn Hà Lan khoảng 14%. East Asia rẻ hơn Singapore khoảng 18%; giá F2 tại Singapore vào khoảng 321 USD. Khu vực có giá theo mức sử dụng cao nhất trong danh sách xấp xỉ 1,7 lần khu vực rẻ nhất.
Vì vậy, lựa chọn khu vực là một quyết định thiết kế đáng cân nhắc. Trước khi chọn, cần kiểm tra yêu cầu về nơi lưu trữ dữ liệu, điều khoản hợp đồng, dịch vụ sẵn có và độ trễ đo được trong thực tế. Đặt dữ liệu tại Liên minh châu Âu không tự động bảo đảm tuân thủ, và khu vực gần hơn cũng không bảo đảm thời gian phản hồi phù hợp.
Thẻ tín dụng cho tài nguyên tính toán
Có thể hình dung năng lực xử lý dùng chung như một thẻ tín dụng cho tài nguyên tính toán. Fabric có thể tạm thời xử lý vượt mức được cấp, sau đó phân bổ mức sử dụng đó vào năng lực xử lý của các khoảng thời gian tiếp theo. Smoothing phân bổ mức sử dụng CU đã tiêu thụ vào các mốc hạch toán tiếp theo; cơ chế này không kéo dài thời gian thực thi tác vụ. Khoảng phân bổ phụ thuộc vào loại tác vụ và mức CU tiêu thụ; mức sử dụng của tác vụ nền thông thường được phân bổ trong 24 giờ. Nếu liên tục dùng vượt mức, phần sử dụng vượt sẽ tích lũy thành một khoản cần được bù lại bằng năng lực xử lý chưa sử dụng.
Theo chính sách giới hạn tải (throttling) tiêu chuẩn, các mức sau được áp dụng:
| Năng lực xử lý của tương lai đã được dùng trước | Ảnh hưởng đến yêu cầu mới |
|---|---|
| Tối đa 10 phút | Chưa giới hạn tải |
| Trên 10 phút, tối đa 60 phút | Yêu cầu tương tác bị trì hoãn 20 giây |
| Trên 60 phút, tối đa 24 giờ | Từ chối yêu cầu tương tác |
| Trên 24 giờ | Từ chối cả yêu cầu tương tác và tác vụ nền |
Đây là các ngưỡng sử dụng, không phải lịch đếm ngược dự báo khi nào báo cáo sẽ ngừng hoạt động. Chính sách này áp dụng cho yêu cầu mới. Cách vận hành của từng nhóm tác vụ và các tài nguyên được tính phí riêng có thể khác nhau. Chẳng hạn, Spark dùng Autoscale Billing không áp dụng cơ chế vượt mức và smoothing này. Xem chính sách giới hạn tải (tài liệu tiếng Anh).
Có công cụ kiểm soát, nhưng phải có người chịu trách nhiệm
Một báo cáo chạy chậm có thể do nhiều nguyên nhân. Áp lực lên năng lực xử lý là một nguyên nhân cần kiểm tra, không nên mặc định đó là chẩn đoán đúng. Hãy theo dõi số liệu về năng lực xử lý và cấu hình cảnh báo trước khi người dùng nghiệp vụ trở thành hệ thống báo lỗi cho đội ngũ. Các sự kiện tổng quan về năng lực xử lý (tài liệu tiếng Anh) có thể kích hoạt thông báo qua email hoặc Teams khi vượt ngưỡng.
Fabric còn có tùy chọn trả phí cho phần sử dụng vượt mức (capacity overage). Với phần vượt đủ điều kiện, tùy chọn này cho phép trả thêm để tránh giới hạn tải, theo mức gấp ba đơn giá pay-as-you-go cho phần vượt đó. Quản trị viên đặt ngưỡng theo cửa sổ 24 giờ trượt, nhưng đây không phải giới hạn chi tiêu cứng. Cơ chế này hữu ích để đáp ứng nhu cầu tăng tạm thời, không thay thế cho việc xác định mức năng lực xử lý phù hợp. Xem hướng dẫn về overage của Microsoft (tài liệu tiếng Anh).
Tạm dừng capacity cũng là một cách kiểm soát, nhưng có chi phí đi kèm. Thao tác này xóa trạng thái giới hạn tải, song phần mức sử dụng còn tồn từ cơ chế smoothing và phần vượt mức sẽ được cộng vào hóa đơn Azure. Nội dung cũng có thể không truy cập được trong thời gian tạm dừng. Cần thực hiện có chủ đích, trong khung thời gian gián đoạn đã thống nhất. Xem hướng dẫn tạm dừng và tiếp tục (tài liệu tiếng Anh).
Khi nào chúng tôi vẫn đặt Databricks lên bàn so sánh?
Tích hợp thuận tiện là một lợi thế, nhưng không phải tiêu chí lựa chọn duy nhất. Đội ngũ có yêu cầu kỹ thuật chuyên sâu nên so sánh các tác vụ thực tế, cách tổ chức vận hành và chi phí trên cả hai nền tảng. Chúng tôi không kết luận nền tảng phù hợp chỉ từ giá khởi điểm F2, cũng không chọn bên thắng bằng một danh sách tính năng.
Theo chúng tôi, Fabric đáng được xem xét sớm với những đội ngũ nhỏ đã dùng công cụ Microsoft. Phần ba sẽ phân tích Databricks theo những thế mạnh và yêu cầu riêng của nền tảng này. Power BI vẫn là lớp báo cáo chúng tôi sử dụng với cả hai lựa chọn.
Chúng tôi sẽ bắt đầu như thế nào?
- Thử nghiệm với nhóm tác vụ đại diện. Bắt đầu từ mức năng lực xử lý nhỏ nhất đáp ứng yêu cầu, rồi đo việc làm mới dữ liệu, số tác vụ chạy đồng thời và mức sử dụng báo cáo.
- Chỉ định người quản lý năng lực xử lý. Cấu hình cảnh báo, theo dõi số liệu và quyết định trước khi nào cần tối ưu, tăng quy mô hoặc cho phép trả phí vượt mức.
- Chỉ đặt trước khi đã hiểu nhu cầu. Cam kết một năm có thể giảm chi phí năng lực xử lý, nhưng khoản giảm đó chỉ có ích khi doanh nghiệp thực sự cần sử dụng.
Giá khởi điểm thấp là một thế mạnh thực sự của Fabric. Một thử nghiệm hữu ích cần chứng minh rằng năng lực xử lý, giấy phép và cách vận hành phù hợp với doanh nghiệp sử dụng các báo cáo đó.
Đây là phần hai của loạt bài so sánh Microsoft Fabric và Databricks. Synnoia triển khai trên cả hai nền tảng và cung cấp báo cáo bằng Power BI. Cuộc trò chuyện đầu tiên hoàn toàn miễn phí.
