© 2011 Chúng ta, trang tin nội bộ của Tập đoàn FPT.
Chúng ta giữ bản quyền nội dung trên website này.

Ứng dụng Big Data trong thương mại điện tử

Phân tích dữ liệu lớn là quá trình thao tác trên một tập dữ liệu lớn để tìm ra những mô hình ẩn, những mối tương quan chưa biết, xu thế thị trường, sở thích của khách hàng và thông tin kinh doanh hữu ích. Công nghệ này hiện được ứng dụng tại nhiều đơn vị trong FPT như: FPT Retail, FPT Telecom, FPT Online.

Bài viết này tập trung vào việc áp dụng phân tích dữ liệu lớn như thế nào cho sàn thương mại điện tử Sendo.vn.

Khuyến nghị sản phẩm

Hầu hết các trang thương mại điện tử đều có những khuyến nghị đi kèm như cho người dùng mua hoặc xem sản phẩm này thì sẽ mua hoặc xem sản phẩm tương tự nào.

Trước đây, việc làm này thường được thực hiện bằng cách liệt kê các sản phẩm cùng loại. Hiện tại, thuật toán khuyến nghị sẽ giúp tìm ra các sản phẩm mà một khách hàng có thể quan tâm bằng cách tìm các sản phẩm mà những khách hàng tương tự khác qua đồ thị miêu tả (đường đậm: người dùng rất quan tâm đến sản phẩm, đường nét đứt: không quá thích nhưng có mối liên hệ đến sản phẩm đó). Bằng mắt thường ta có thể thấy người dùng 1 và 5 có sở thích giống nhau khi cùng thích sản phẩm 101 và hơi quan tâm đến 102 và 103. Người dùng 1 và 4 cũng khá tương đồng khi cùng thích 101 và hơi quan tâm đến 103. Trong khi đó, người dùng 4 và 5 rất thích 104 và 106, do đó có thể khuyến nghị 104, 106 cho người dùng 1.

8-1-4668-1497668321.jpg
 

Thực tế khi số lượng người dùng và sản phẩm lên tới hàng triệu thì khối lượng dữ liệu là rất lớn. Hai thuật toán phố biến cho khuyến nghị là Frequent Pattern và Collaborative Filtering được tích hợp trong framework sẵn có như Mahout hay Spark MLLib. Spark MLLib đang nổi lên nhờ hỗ trợ các thuật toán mới và lập trình phân tán một cách đơn giản.

BigData2-6073-1497668321.jpg
 
8-3-7411-1497668321.jpg
 

Để triển khai bài toán này cho Sendo.vn, các chuyên gia công nghệ đã xây dựng 2 module.

Module builder dùng để tiền xử lý dữ liệu thô sau đó áp dụng 2 thuật toán Frequent Pattern và Collaborative Filtering cho dữ liệu xem hàng và mua hàng. Kết quả trả ra được cache lại trên Redis và lưu xuống MongoDB.

Module Web API trả ra cho client, với mỗi yêu cầu từ client, hệ thống sẽ lấy dữ liệu cache sẵn từ Redis, trong trường hợp Redis bị lỗi thì có thể lấy từ MongoDB, với những dữ liệu chưa được tính sẵn (chưa tồn tại trong Redis và MongoDB) thì hệ thống sẽ nạp mô hình và tính toán tại chỗ.

Customer profiling

Việc xác định thông tin nhân khẩu học (demographic) về khách hàng là rất quan trọng trong thương mại điện tử để thực hiện các chiến lược marketing. Từ việc xem và mua sản phẩm chúng ta có thể đoán được giới tính, nơi sống, loại sản phẩm mà khách hàng có thể mua trong tương lai với độ chính xác chấp nhận được.

Dù không đăng nhập vào hệ thống thì khách hàng cũng cần tạo ra ID, ID này cần phải được duy trì dù người dùng có thoát khỏi trang, Apache Divolte là loại JavaScript có thể đáp ứng được nhu cầu này. Để dự đoán giới tính và sản phẩm có thể mua cần tập dữ liệu mẫu cho biết một người dùng có mức độ quan tâm đến sản phẩm cụ thể thường là nam hay nữ.

Về triển khai, dữ liệu log hàng ngày chạy qua Hadoop MapReduce sử dụng mô hình mạng neuron để tính ra giới tính và sản phẩm có thể mua trong tương lai, và dùng IP2Location để tính ra địa chỉ dựa trên IPAddress. Dữ liệu tính toán sẽ được lưu vào HBase, sau đó dữ liệu sẽ được tính toán từng phần dùng MapReduce. Sau đó dữ liệu từ HBase sẽ được indexing lên Solr để client có thể yêu cầu đến.

Quá trình triển khai bài toán này đã giúp cho việc tiếp cận và hiểu nhu cầu khách hàng của Sendo.vn phát triển vượt bậc. Hệ thống khuyến nghị người dùng không chỉ được ứng dụng cho thương mại điện tử mà còn góp phần tăng trải nghiệm người dùng trực tuyến trên nhiều lĩnh vực khác nhau như giải trí, truyền thông đa phương tiện, nhu cầu tìm kiếm thông tin hữu ích…

>>  FPT là doanh nghiệp CNTT xuất sắc nhất ASEAN

Theo FPT Tech Insight

 

Công việc đầu đời của các tỷ phú thế giới

Những tỷ phú nổi tiếng thế giới như Jeff Bezos, Warren Buffet, Mark Zuckerberg... đã bắt đầu sự nghiệp huy hoàng của mình với những công việc có mức thu nhập rất hạn chế, theo

CEO Bùi Quang Ngọc khuyến khích khởi nghiệp từ FPT Telecom

TGĐ FPT khẳng định, tập đoàn “nhất trí ngay” với chính sách ưu đãi riêng có và sẵn sàng đầu tư cho các khởi nghiệp nội bộ từ FPT Telecom.

FPT chạm ‘trái tim’ của ngành hàng không

Bắt tay Airbus, gã khổng lồ hàng không thế giới, FPT tiếp cận nền tảng công nghệ mới giúp các hãng hàng không giảm sự gián đoạn chuyến bay, tiết kiệm chi phí bảo trì,

FPT khẳng định vị thế trong lĩnh vực phần mềm Đà Nẵng

Thứ trưởng Bộ Thông tin và Truyền thông Nguyễn Minh Hồng đánh giá cao những thành quả hoạt động của khu Công nghệ thông tin tập trung Công viên phần mềm Đà Nẵng cũng như