Giới Thiệu Về Apache Kafka và Event Driven Architecture Phần I

Khó Khăn Trong Các Hệ Thống Cũ

Trước khi kiến trúc event driven ra đời, các hệ thống cũ, đặc biệt là trong lĩnh vực e-commerce, thường gặp phải nhiều khó khăn:

Tích Hợp Hệ Thống

Các hệ thống cũ thường sử dụng kiến trúc monolithic hoặc microservices nhưng không có cách giao tiếp hiệu quả giữa các thành phần. Điều này gây ra nhiều vấn đề khi cần tích hợp các thành phần khác nhau, dẫn đến việc phát sinh lỗi và khó khăn trong việc quản lý dữ liệu đồng bộ.

Xử Lý Dữ Liệu Real-time

Độ Trễ Cao và Tính Không Nhất Quán

Các hệ thống cũ thường sử dụng các phương pháp polling hoặc batch processing để xử lý dữ liệu. Polling là việc kiểm tra định kỳ một nguồn dữ liệu để lấy thông tin mới, trong khi batch processing là việc xử lý một khối lượng lớn dữ liệu trong một lần. Cả hai phương pháp này đều gây ra độ trễ cao và không đảm bảo tính nhất quán của dữ liệu.

Khó Khăn Trong Việc Phản Ứng Kịp Thời

Trong lĩnh vực e-commerce, việc phản ứng kịp thời với các sự kiện như đơn hàng mới, thanh toán, hoặc cập nhật kho hàng là rất quan trọng. Các hệ thống cũ thường không thể đáp ứng được yêu cầu này do hạn chế về khả năng xử lý real-time, dẫn đến trải nghiệm người dùng kém và có thể mất khách hàng.

Khả Năng Mở Rộng

Khi lưu lượng truy cập tăng đột biến, hệ thống cũ khó có khả năng mở rộng để đáp ứng nhu cầu. Điều này dẫn đến việc hệ thống bị quá tải, giảm hiệu suất và ảnh hưởng đến trải nghiệm người dùng.

Khó khăn của hệ thống cũ khi client và service phải giao tiếp với nhau quá nhiều

Event Driven Architecture

Event Driven Architecture (EDA) là một mô hình kiến trúc hướng sự kiện(event) trong đó các action hoặc event là thành phần chính và được sử dụng để giao tiếp giữa các thành phần của hệ thống và giữa hệ thống với khách hành. Mỗi event là một thông báo về một action đã xảy ra, và các thành phần khác có thể lắng nghe và phản ứng(consume) với sự kiện đó.

Lợi Ích Của Kiến Trúc Event Driven

Khả Năng Mở Rộng: EDA cho phép hệ thống dễ dàng mở rộng bằng cách thêm các thành phần mới mà không ảnh hưởng đến các thành phần hiện có.
Độ Tin Cậy: Các sự kiện được lưu trữ và xử lý một cách tin cậy, đảm bảo rằng không có sự kiện nào bị mất mát.
Phản Ứng Real-time: EDA cho phép xử lý và phản ứng với các sự kiện ngay lập tức, cải thiện hiệu suất và trải nghiệm người dùng.
Tính Linh Hoạt: EDA cho phép các hệ thống dễ dàng thích ứng và thay đổi theo nhu cầu mới, giúp giảm thời gian phát triển và chi phí.

Trường Hợp Nên Sử Dụng Event Driven

E-commerce: Xử lý đơn hàng, thanh toán và quản lý kho hàng.
Ngân Hàng: Xử lý giao dịch và quản lý tài khoản.
IoT: Xử lý dữ liệu từ các thiết bị cảm biến và phản ứng với các sự kiện trong thời gian thực.

Nếu business của các bạn cần xử lý sự kiện theo thời gian thực, tích hợp hệ thống linh hoạt, tự động hóa quy trình và cải thiện trải nghiệm khách hàng. Bạn có thể cân nhắc sử dụng Event Driven Architecture.

Giới Thiệu Về Kafka

Apache Kafka được phát triển bởi LinkedIn và sau đó trở thành một dự án mã nguồn mở của Apache. Kafka được thiết kế để xử lý các luồng event real-time với hiệu suất cao, độ tin cậy và khả năng mở rộng. Nó hoạt động như một message broker, giúp truyền tải và xử lý event giữa các hệ thống một cách hiệu quả và tin cậy. Kafka cho phép các ứng dụng produce và consume event với tốc độ cao và độ trễ thấp và khả năng scale cực khủng.

Các Khái Niệm Cơ Bản

Các thành phần chính của Kafka. Nguồn: https://ibm-cloud-architecture.github.io/

Để hiểu rõ cách thức hoạt động của Apache Kafka, chúng ta cần nắm vững các khái niệm cơ bản. Dưới đây là những khái niệm và thành phần cốt lõi của Kafka:

Event (Sự Kiện)

Event là thành phần chính trong Kafka bao gồm một mẩu thông tin chứa dữ liệu cụ thể về một hành động hoặc trạng thái tại một thời điểm nhất định. Ví dụ về sự kiện bao gồm đơn hàng mới trong một hệ thống e-commerce, thay đổi trạng thái của một dịch vụ, hoặc dữ liệu cảm biến từ một thiết bị IoT.

Thành Phần một event trong Kafka bao gồm:

Key (Khóa): Giá trị duy nhất để phân biệt và sắp xếp các sự kiện. Không phải lúc nào cũng cần thiết.
Value (Giá Trị): Dữ liệu chính của sự kiện, thường là một chuỗi JSON hoặc định dạng nhị phân khác.
Timestamp (Dấu Thời Gian): Thời điểm xảy ra sự kiện.
Headers (Tiêu Đề): Thông tin bổ sung không bắt buộc.

Producer

Producer là thành phần(hoặc service) chịu trách create ra và gửi các sự kiện (messages) đến các topic trong Kafka. Producers có thể là các application hoặc service tạo ra dữ liệu liên tục, như hệ thống e-commerce ghi nhận các đơn hàng mới hoặc cảm biến IoT gửi dữ liệu nhiệt độ.

Chức Năng

Gửi Dữ Liệu: Producers gửi dữ liệu đến các topic cụ thể.
Routing Dữ Liệu: Dựa trên key của message, dữ liệu có thể được định routing các partition cụ thể trong một topic.
Bảo Đảm Chất Lượng: Producers có thể cấu hình để đảm bảo độ tin cậy và thứ tự của các sự kiện.

Consumer

Consumer là thành phần(hoặc service) đọc và xử lý các sự kiện từ Kafka. Consumers đăng ký với các topic và consume event từ các partition.

Chức Năng

Đăng Ký Topic: Consumers đăng ký với các topic mà service quan tâm.
Xử Lý Dữ Liệu: Nhận và xử lý các sự kiện theo thời gian thực.
Quản Lý Offset: Theo dõi vị trí đọc trong các partition để đảm bảo không bỏ sót event.

Topic

Topic là một kênh để các producer gửi và các consumer nhận các sự kiện. Mỗi topic được chia thành nhiều partition để tăng khả năng mở rộng và hiệu suất.

Chức Năng

Lưu Trữ Dữ Liệu: Mỗi topic chứa một chuỗi các event.
Phân Tán Dữ Liệu: Chia các event vào các partition để phân tán công việc cho consumer xử lý.

Partition

Partition là một đơn vị lưu trữ event của topic. Mỗi partition là một log tuần tự ghi lại các sự kiện, và các sự kiện trong một partition được sắp xếp theo thứ tự thời gian.

Chức Năng

Tăng Khả Năng Mở Rộng: Cho phép nhiều consumer consume dữ liệu song song.
Đảm Bảo Thứ Tự: event trong một partition được sắp xếp theo thứ tự ghi nhận.

Broker

Broker là một server trong Kafka cluster, chịu trách nhiệm lưu trữ dữ liệu và xử lý các yêu cầu từ producer và consumer. Mỗi Kafka cluster có thể có nhiều broker.

Chức Năng

Lưu Trữ Dữ Liệu: Lưu trữ các partition của các topic.
Quản Lý Yêu Cầu: Xử lý các yêu cầu gửi và nhận event từ producer và consumer.
Sao Lưu Dữ Liệu: Quản lý việc sao lưu và khôi phục dữ liệu để đảm bảo tính tin cậy.

Consumer Group

Consumer Group là một nhóm các consumer cùng tiêu thụ một topic. Mỗi thông điệp trong topic sẽ chỉ được xử lý bởi một consumer trong nhóm.

Chức Năng

Cân Bằng Tải: Phân chia các partition giữa các consumer trong nhóm.
Đảm Bảo Xử Lý: Đảm bảo mỗi thông điệp chỉ được xử lý một lần bởi một consumer trong nhóm.

Tổng Kết

Trong bài viết này, chúng ta đã khám phá nhiều khía cạnh về Event Driven Architecture, sự Khó Khăn Trong Các Hệ Thống Cũ và giới thiệu các khái niệm cơ bản về Kafka.

Việc hiểu rõ các khái niệm và lợi ích của Kafka sẽ giúp bạn xây dựng các hệ thống xử lý dữ liệu mạnh mẽ và hiệu quả, đáp ứng nhu cầu kinh doanh và kỹ thuật của công ty.

Trong phần tiếp theo, chúng ta sẽ đi sâu vào cách cài đặt và sử dụng Kafka một cách cụ thể, từ việc thiết lập môi trường, cấu hình hệ thống, đến triển khai các ứng dụng real-time sử dụng Kafka. Điều này sẽ giúp bạn bắt đầu hành trình khám phá và áp dụng Kafka vào hệ thống của mình, tối ưu hóa quy trình xử lý dữ liệu và tạo ra giá trị lớn hơn cho doanh nghiệp.

HAPPY CODING!