Giải thích dễ hiểu về Hybrid Machine learning

 
Hybrid Machine learning (HML) là loại mô hình học máy lai, đã được sử dụng phổ biến trong thời gian gần đây. Chúng ta có thể đã ứng dụng nó đâu đó nhưng không nhận ra nó. Vì thế, việc hiểu về HML là cần thiết. Hôm nay, chúng ta sẽ đi tìm hiểu khái niệm cơ bản về mô hình học máy lai, phương pháp của nó thế nào và cách nó hoạt động ra làm sao.

Bài viết được lược dịch sang tiếng Việt từ bài gốc: "Hybrid Machine Learning Explained in Nontechnical Terms" của tác giả Fatai Anifowose, đăng trên Journal of Petroleum technology. Link gốc bài viết hãy xem ở đây: https://jpt.spe.org/hybrid-machine-learning-explained-nontechnical-terms

1. Giới thiệu tổng quan

Chúng ta đã khá quen thuộc với công nghệ trí tuệ nhân tạo (AI) và cách nó liên quan đến học máy (ML). Về cơ bản, AI là một lĩnh vực con của khoa học máy tính tập trung vào thiết kế và phát triển các hệ thống thông minh dưới dạng phần cứng, phần mềm hoặc cả hai. AI là công nghệ áp dụng cho nhiều lĩnh vực và tiên tiến như robot, xử lý ngôn ngữ tự nhiên, hệ thống chuyên gia và ML. ML là khía cạnh tính toán của AI sử dụng các quy trình khai thác kiến thức, nhận diện mẫu và khai thác dữ liệu để tự động học từ dữ liệu và phát triển các luồng công việc dự đoán. Phương pháp ML giám sát truyền thống bao gồm trình bày dữ liệu đầu vào (biến dự báo và biến mục tiêu) cho một mô hình được đào tạo. Quá trình đào tạo tìm kiếm để xác định thông qua một quy trình lặp lại một tập hợp các thông số mô hình tối đa hóa mối quan hệ giữa biến dự báo (đặc trưng đầu vào) và biến mục tiêu. Mô hình đã được đào tạo nhận dữ liệu đầu vào mới cho các biến dự báo và sử dụng mẫu được nhận dạng để ước tính biến mục tiêu. Hình 1 trình bày đơn giản hóa của phương pháp này.

Hình 1. Sơ đồ đơn giản hóa của thuật toán ML truyền thống

Hầu hết các phương pháp ML ngày nay đề sử dụng sơ đồ này. Ví dụ như các thuật toán ANN, decision tree, hay SVM. Các phương pháp này đã được sử dụng trong hơn 4 thập kỷ. Gần đây, học máy lai (HML) đã được sử dụng như một phương pháp mới tiên tiến hơn.

Vậy HML là gì? Hiểu được những gì đưa vào thuật toán của HML giúp chúng ta có thể nắm được nguyên lý cơ bản, phương pháp hoạt động để ứng xử với chúng tốt hơn trong các bài toán cụ thể, giảm thiểu hiện tượng "hộp đen" trong nghiên cứu khoa học.

2. Hybrid machine learning là gì?

Hầu hết chúng ta có lẽ đã sử dụng các thuật toán HML dưới một hình thức nào đó mà không nhận ra. Chúng ta có thể đã sử dụng các phương pháp kết hợp của các phương pháp hiện có hoặc kết hợp với các phương pháp được nhập từ các lĩnh vực khác. Đôi khi chúng ta áp dụng các phương pháp biến đổi dữ liệu như phân tích thành phần chính (PCA) hoặc phân tích tương quan tuyến tính đơn giản trên dữ liệu của chúng ta trước khi đưa chúng vào một phương pháp ML. Một số người thực hành sử dụng các thuật toán tiến hóa để tự động hóa tối ưu hóa các thông số của các phương pháp ML hiện có. Thuật toán HML dựa trên một kiến trúc ML khác một chút so với cách truyền thống. Chúng ta có vẻ đã coi nhẹ các thuật toán ML khi chúng ta đơn giản chỉ sử dụng chúng như một sản phẩm sẵn có, thường là không xem xét chi tiết về cách các thành phần tương tác với nhau.

HML là một tiến bộ của phương pháp ML kết hợp liền mạch các thuật toán, quy trình hoặc thủ tục từ các lĩnh vực hoặc khu vực ứng dụng tương đồng hoặc khác biệt với mục tiêu bổ sung cho nhau. Vì không có một phương pháp nào phù hợp cho tất cả các vấn đề, không có một phương pháp ML nào có thể áp dụng cho tất cả các vấn đề. Một số phương pháp tốt trong việc xử lý dữ liệu nhiễu (noisy data) nhưng có thể không xử lý được đầu vào đa chiều. Một số phương pháp khác có khả năng áp dụng tốt trên đầu vào đa chiều nhưng không xử lý được dữ liệu thưa. Điều này là tiền đề tốt để áp dụng HML nhằm bổ sung cho các phương pháp tiềm năng và sử dụng một phương pháp để khắc phục điểm yếu của các phương pháp khác. Hình 2 cho thấy một khung khái niệm của phương pháp HML.

Hình 2. Sơ đồ đơn giản hóa của Hybrid Machine learning

Có vô số khả năng để kết hợp các phương pháp học máy truyền thống, và điều này có thể được thực hiện cho mỗi phương pháp nhằm xây dựng các mô hình lai mới theo cách khác nhau. Để đơn giản hóa, bài viết này sẽ thảo luận về ba cách: tích hợp kiến trúc, điều chỉnh dữ liệu và tối ưu hóa thông số mô hình.

3. HML dựa trên tích hợp kiến trúc

Loại lai tạo này này kết hợp kiến trúc của hai hoặc nhiều thuật toán truyền thống, hoàn toàn hoặc một phần, một cách bổ sung để phát triển một thuật toán mạnh mẽ hơn là đứng độc lập. Ví dụ phổ biến nhất là hệ thống suy diễn mờ thích nghi (ANFIS). ANFIS đã được sử dụng trong thời gian khá dài và thường được coi là một phương pháp học máy truyền thống độc lập. Thực tế, nó là sự kết hợp giữa các nguyên tắc của logic mờ và ANN. Như được thể hiện trong Hình 3, kiến trúc của ANFIS bao gồm năm lớp. Ba lớp đầu tiên được lấy từ logic mờ, trong khi hai lớp còn lại được lấy từ ANN. Thông tin kỹ thuật chi tiết hơn về ANFIS, đặc biệt là vai trò của mỗi lớp, có thể được tìm thấy trong [1] Anifowose et al. (2013).

Hình 3. Kiến trúc của mô hình ANFIS

Một ví dụ khác về phương pháp HML dựa trên tích hợp kiến trúc là cây Naïve Bayes hoặc NBTree. Như được minh họa trong Hình 4, đó là sự kết hợp của các thuật toán naïve Bayes và Decision tree. Các nút cây quyết định chứa các phân chia đơn biến giống như cây quyết định thông thường, nhưng các lá lại chứa các bộ phân loại Naïve Bayes (Kohavi 1996). Các bộ phân loại này được sử dụng để khắc phục những hạn chế của decision tree. Nghiên cứu đã lưu ý rằng hiệu suất của thuật toán naïve Bayes là tuyệt vời; tuy nhiên, nó không thể mở rộng tốt với dữ liệu có nhiều chiều hơn. Ngược lại, decision tree có khả năng mở rộng dễ dàng trong cùng điều kiện, nhưng lại dễ bị overfitting. Một sự kết hợp của hai phương pháp này trở nên cần thiết để trích lợi từ những đặc tính bổ sung của hai phương pháp.

Hình 4. Kiến trúc của mô hình NBTree

4. HML dựa trên việc điều chỉnh dữ liệu

(Chỗ này dịch là "điều chỉnh dữ liệu" nghe có vẻ không chuẩn lắm. Gốc của nó là "Data manipulation")

Loại lai tạo này kết hợp các quy trình xử lý dữ liệu với các phương pháp ML truyền thống một cách mượt mà với mục tiêu bổ sung kết quả của phương pháp trước với đầu ra của phương pháp sau. Các ví dụ sau là những khả năng hợp lý cho loại phương pháp kết hợp này:

• Nếu thuật toán Fuzzy ranking (FR) được sử dụng để xếp hạng và chọn trước các đặc trưng tối ưu trước khi áp dụng thuật toán SVM trên dữ liệu, điều này có thể được gọi là một mô hình kết hợp FR-SVM (Hình 5).
• Nếu một mô-đun PCA được sử dụng để trích xuất một phần ma trận dữ liệu đủ để giải thích dữ liệu gốc trước khi áp dụng mạng neural trên dữ liệu, chúng ta có thể gọi đó là một mô hình PCA-ANN kết hợp.
• Nếu một thuật toán Singular value decomposition (SVD) được sử dụng để giảm chiều dữ liệu trước khi áp dụng một mô hình Extreme learning machine (ELM), thì chúng ta có thể gọi đó là một mô hình SVD-ELM kết hợp.
• Phương pháp logic mờ có thể được xem như là một cách lai nếu các quy trình mờ hóa và giải mờ mà đứng trước và sau inference engine được xem như các nhiệm vụ tiền xử lý và sau xử lý được tích hợp một cách mượt mà với inference engine.

Hình 5. Kiến trúc của mô hình lai giữa Fuzzy ranking - SVM

Các phương pháp lai (hybrid) dựa trên việc lựa chọn đặc trưng, một loại quá trình xử lý dữ liệu tìm kiếm bổ sung cho quá trình lựa chọn mô hình tích hợp sẵn của các phương pháp học máy truyền thống, đã trở nên phổ biến. Mỗi thuật toán học máy có cách lựa chọn mô hình tốt nhất dựa trên một tập hợp đặc trưng đầu vào tối ưu. Do đó, nghiên cứu gần đây [2,3] (Anifowose et al. 2014; Sasikala 2016) đã đề xuất thực hiện quá trình này bằng một thuật toán bên ngoài như một bước tiền xử lý để bổ sung cho quá trình nội tại bằng cách giảm độ phức tạp tính toán, từ đó tăng độ chính xác của các thuật toán học máy truyền thống.

5. HML dựa trên tối ưu hóa thông số mô hình

Chúng ta biết rằng, mỗi phương pháp truyền thống của Học máy đều sử dụng một thuật toán tối ưu  hoặc tìm kiếm nhất định như gradient descent hoặc grid search để xác định các thông số điều chỉnh tối ưu của nó. Loại học máy lai này tìm kiếm cách bổ sung hoặc thay thế phương pháp tối ưu hóa thông số điều chỉnh tích hợp bằng cách sử dụng một số phương pháp nâng cao dựa trên các thuật toán tiến hóa. Do đó, có rất nhiều cách để tối ưu hóa các thông số. Các ví dụ về những khả năng đó là:

• Nếu thuật toán tối ưu hóa đàn hồi (PSO) được sử dụng để tối ưu hóa các thông số huấn luyện của một mô hình ANN, thì mô hình trở thành phương pháp kết hợp PSO-ANN.
• Khi thuật toán di truyền (GA) được sử dụng để tối ưu hóa các thông số huấn luyện của phương pháp ANFIS, thì phương pháp trở thành một mô hình kết hợp GANFIS.
• Tương tự, với các thuật toán tối ưu hóa tiến hóa khác như Bee, Ant, Bat và Fish Colony được kết hợp với các phương pháp truyền thống Học máy để tạo thành các mô hình kết hợp tương ứng của chúng.

6. Một vài ví dụ sử dụng HML

(chỗ này không lấy ví dụ của tác giả chính, mà lấy ví dụ liên quan đến ứng dụng HML trong dự đoán lũ lụt)

Hiện nay, có nhiều học giả trên thế giới đã giới thiệu phương pháp học máy lai để dự đoán về lũ lụt hoặc lũ quét. Ở đây, giới thiệu 2 bài của 2 tác giả Việt nam.

Trong công bố năm 2023 tác giả Nguyễn Hữu Duy đã ứng dụng một loạt các thuật toán tối ưu kết hợp với một thuật toán ML để dự đoán tai biến lũ lụt ở Hà Tĩnh. Thuật toán ANFIS đã được kết hợp với các thuật toán tối ưu gồm Gradient-Based Optimizer (GBO), Chaos Game Optimization (CGO), Sine Cosine Algorithm (SCA), Grey Wolf Optimization (GWO), và Differential Evolution (DE). Kết quả cho thấy, mô hình lai ANFIS-GBO cho độ chính xác cao nhất [4]. Xem chi tiết tại tài liệu tham khảo số [4].

Một nghiên cứu khác của Bùi Tiến Diệu và cộng sự năm 2019, là sự kết hợp giữa Multivariate Adaptive Regression Splines (MARS) and Particle Swarm Optimization (PSO) để dự đoán khu vực nhạy cảm với lũ quét ở miền núi tây bắc Việt Nam [5].

Hai ví dụ trên là hai mô hình học máy lai HML dựa trên sự tối ưu hóa của các thông số đầu vào. Thực tế, có rất nhiều cách lai tạo khác đã được công bố trong dự đoán lũ lụt. Đó cũng chính là cơ hội để thử nghiệm một vài cách mới trong lĩnh vực này.

7. Kết luận

Phương pháp học máy lai HML đã trở nên phổ biến trong các ứng dụng gần đây. Chúng ta có thể đã sử dụng một số trong số chúng mà không nhận ra. Tuy nhiên, cần phải biết về chúng trong bối cảnh hiểu các khái niệm cơ bản của phương pháp và cách chúng hoạt động. Hy vọng bài viết này sẽ khuyến khích các chuyên gia trẻ và những người đam mê ML khác trang bị kiến thức cơ bản về cách xây dựng các mô hình hybrid của riêng họ bằng cách sử dụng bất kỳ chiến lược nào như tích hợp kiến trúc, điều chỉnh dữ liệu và tối ưu hóa thông số mô hình hoặc bất kỳ chiến lược phù hợp nào khác.

Tài liệu tham khảo

[1]Anifowose, F.A., Labadin, J., and Abdulraheem, A. 2013. Prediction of Petroleum Reservoir Properties Using Different Versions of Adaptive Neuro-Fuzzy Inference System Hybrid Models. Inter. J. of Computer Information Systems and Industrial Management Applications 5: 413–426.

[2] Anifowose, F., Labadin, J., and Abdulraheem, A. 2014. Nonlinear Feature Selection-Based Hybrid Computational Intelligence Models for Improved Natural Gas Reservoir Characterization. J. of Natural Gas Science and Engineering  21: 397–401

[3] Sasikala, S., Balamurugan, S.A., and Geetha, S. 2016. Multi-Filtration Feature Selection (MFFS) To Improve Discriminatory Ability in Clinical Data Set. Applied Computing and Informatics 12 (2): 117–127.

[4] Huu Duy Nguyen, 2023. Spatial modeling of flood hazard using machine learning and GIS in Ha Tinh province, Vietnam. Journal of Water and climate change. Vol 14 No1,200

[5] Bui Tien Dieu, et al. 2019. A New Intelligence Approach Based on GIS-Based Multivariate Adaptive Regression Splines and Metaheuristic Optimization for Predicting Flash Flood Susceptible Areas at High-frequency Tropical Typhoon Area. Journal of Hydrology (2019)