- Giải pháp phải được tìm thấy trong thời gian thực.

- Chúng ta nên xem xét tính năng động của thông tin hiện có, tức là thông tin có thể thay đổi bất ngờ.

- Thông tin có sẵn có thể không đầy đủ.

- Thời gian có sẵn để có được một giải pháp có thể là một hạn chế.

2. Thực trạng hoạt động khôi phục gián đoạn tại AOCC

Thực hành ra quyết định khôi phục tại AOCC hiện tại bao gồm một quá trình phối hợp giữa nhiều người, mỗi người trong số họ đóng một vai trò thiết yếu trong quản trị gián đoạn. Với sự phức tạp ngày càng tăng và nhiều hoạt động phụ thuộc lẫn nhau giữa các hãng hàng không, các sân bay và trung tâm ATC, việc phục hồi của hãng hàng không đối với sự gián đoạn trở thành một nhiệm vụ đầy thách thức. Để quản trị gián đoạn một cách vững chắc, yêu cầu cần có các hình thức phối hợp nâng cao và tự động hóa giữa những người vận hành tại AOCC.

Việc ra quyết định khôi phục các gián đoạn hàng không tại AOCC chủ yếu theo phương pháp nghiệm suy, dựa theo kỹ năng và kinh nghiệm từ các chuyên gia chuyên phục hồi một bài toán cụ thể của gián đoạn như tàu bay, phi hành đoàn hoặc hành khách…

Mỗi chuyên gia phụ trách một bài toán khôi phục và nhắm đến giải quyết để đạt mục tiêu mà mâu thuẫn với mục tiêu của các bài toán khác.

Phần lớn của công việc hiện tại của AOCC thường theo cách tiếp cận tuần tự khi giải quyết một sự gián đoạn. Hình 2.1 cho thấy trong cách tiếp cận tuần tự, khía cạnh máy bay của vấn đề được giải quyết trước tiên, sau đó, sử dụng giải pháp từng phần của máy bay làm đầu vào, khía cạnh PHĐ sau đó được giải quyết.

Sử dụng cách tiếp cận tuần tự này, thứ tự là quan trọng nên áp đặt cho từng khía cạnh của bài toán, nghĩa là khía cạnh máy bay quan trọng hơn phi hành đoàn và cả hai đều quan trọng hơn khía cạnh hành khách. Để có được giải pháp tích hợp tốt hơn, mỗi chiều phải có cơ hội ở cùng mức độ quan trọng. Để các cơ hội được ở cùng mức độ quan trọng, tác nhân đại diện cho một khía cạnh bài toán có thể tạo các giải pháp ứng cử viên đầy đủ (nghĩa là các giải pháp bao gồm ba khía cạnh của vấn đề), từ quan điểm cục bộ của họ và xem xét tham chiếu và lợi ích của nó. Nó phải là giải pháp tốt nhất để đạt mục tiêu toàn cục của AOCC.

Các nghiên cứu và quan sát cho thấy rằng một thuật toán giải quyết vấn đề đơn lẻ là không thể dùng để giải quyết một cách linh hoạt và đáp ứng trong giới hạn thời gian cần thiết, tất cả các khía cạnh bài toán khôi phục hoạt động khai thác hàng không. Các nghiên cứu cũng thường chấp nhận rằng, giải pháp tốt nhất cho sự gián đoạn trong AOCC, là giải pháp không làm chậm chuyến bay và có chi phí khai thác trực tiếp tối thiểu. Thật không may, vì một số lý do (xem (Kohl & Karisch, 2004) rất hiếm khi có các giải pháp ứng viên không làm chậm chuyến bay và/hoặc không làm tăng chi phí khai thác trực tiếp. Hầu hết các trường hợp, nhóm chuyên gia phải lựa chọn giữa các giải pháp ứng viên làm trì hoãn chuyến bay và tăng chi phí khai thác trực tiếp. Một cách hợp lý, dựa trên kinh nghiệm họ chọn một giá trị giảm thiểu hai giá trị này. Việc ra quyết định tối ưu cần xem xét hồ sơ của hành khách trên chuyến bay cụ thể và không chỉ dựa trên thời gian trễ và/hoặc chi phí khai thác mà chi phí chất lượng- chi phí do gián đoạn dưới quan điểm của hành khách phải được định lượng dưới một hàm các chi phí đáng tin cậy hơn.

Có thể coi AOCC là một thực thể tự chủ và tự động sử dụng thông tin từ nhiều nguồn, giám sát thông tin đó, giải quyết các vấn đề và đưa ra quyết định theo các mục tiêu cục bộ và toàn cục. Thực thể này cập nhật kế hoạch hoạt động theo các giải pháp được tìm thấy và các quyết định được đưa ra và học hỏi từ quá khứ để tránh các vấn đề tương tự trong tương lai. Mặc dù thực hiện nó không hề đơn giản nhưng có thể cải thiện đáng kể tổ chức, cách tiếp cận và các công cụ hiện tại trong AOCC. AOCC là một tổ chức có các mục tiêu cục bộ (ví dụ: giảm thiểu chi phí cho máy bay, phi hành đoàn và/hoặc hành khách khi giải quyết một sự gián đoạn cụ thể) nhưng cũng có các mục tiêu toàn cục như giảm thiểu sự chậm trễ và chi phí trong một khoảng thời gian nhất định. Mục tiêu là làm cho AOCC hiệu quả hơn, nhanh hơn khi giải quyết các gián đoạn cũng như với các quyết định và hiệu suất toàn cục tốt hơn. Các hãng hàng không nên coi các chuyên gia về con người là người quản lý chứ không phải người kiểm soát. Theo các quan sát trước đó, các tác vụ lặp đi lặp lại hoặc thường xuyên được thực hiện tốt hơn bởi các tác nhân phần mềm và các tác vụ có mức độ không chắc chắn cao được thực hiện tốt hơn bởi con người.

3. Hệ thống đa tác nhân

Khái niệm: Hệ thống đa tác nhân (multi-agent system) là một hệ thống tự động hoạt động bao gồm nhiều tác nhân (agents) tương tác với nhau để đạt được một mục tiêu nhất định và môi trường mà các tác nhân ở trong đó. Mỗi tác nhân trong hệ thống là một người chuyên gia hay máy tính, có thể đóng vai trò là một đại diện độc lập, có thể giao tiếp, thực hiện các hành động và có quyết định dựa trên thông tin mà nó thu thập và nhận được từ các tác nhân khác. Hệ thống đa tác nhân được sử dụng trong nhiều lĩnh vực như trong kinh doanh, robot học, tự động hóa đường phố, điều khiển giao thông, và nhiều lĩnh vực khác.

Theo Rudowsky (2004), các đặc điểm quan trọng của một hệ thống đa tác nhân là:

(1) Thông tin hoặc khả năng giải quyết vấn đề của mỗi tác nhân là không đầy đủ;

(2) Không có hệ thống kiểm soát toàn cục;

(3) Dữ liệu được phân cấp; và

(4) Tính toán không đồng bộ.

Theo Odell (2002): “Thiết kế một hệ thống dựa trên tác nhân không chỉ là thiết kế các tác nhân, mà còn là thiết kế môi trường tác nhân.” Môi trường tác nhân không chỉ bao gồm các tác nhân khác nhau mà còn bao gồm các nguyên tắc và quy trình theo đó các tác nhân tồn tại và giao tiếp. Giao tiếp của tác nhân được mô tả bằng cả ngôn ngữ và phương pháp mà họ trao đổi thông điệp bằng ngôn ngữ đó. Sự cộng tác của tác nhân (đôi khi được gọi là "tương tác") đề cập đến cơ chế mà các tác nhân tự tổ chức để giải quyết vấn đề của toàn bộ hệ thống.

Tương tác có thể có nhiều dạng như phối hợp, hỗ trợ, thương lượng để hoàn thành mục tiêu riêng hoặc để thực hiện mục tiêu chung hoặc thậm chí là cạnh tranh tài nguyên… Do khả năng chủ động và tính xã hội của tác nhân mà tương tác giữa các tác nhân trở nên phức tạp hơn nhiều. tác nhân được cung cấp tri thức, phương pháp và có thể chủ động quyết định thực hiện cái gì, như thế nào. Do vậy, tương tác trong hệ đa tác nhân có một số điểm nổi bật:

- Tương tác đa tác nhân xảy ra một cách tự động, không cần sự kích hoạt từ bên ngoài. Trong khi thực hiện một nhiệm vụ nào đó, nếu cần thiết, tác nhân hoàn toàn có thể tự kích hoạt tương tác với tác nhân khác. Chính điều này tạo ra sự lan tỏa tương tác khiến cho tương tác giữa các tác nhân không chỉ dừng lại ở hai chiều.

- Tương tác trong hệ đa tác nhân mang tính chất xã hội vì đó không chỉ là một bên đưa ra yêu cầu còn bên kia thực hiện mà tác nhân hoàn toàn có khả năng từ chối thực thi yêu cầu của các tác nhân khác. Mặt khác, tương tác đa tác nhân có thể được phân chia theo ngữ cảnh xã hội thành các loại như tương tác kết hợp, phối hợp, cạnh tranh, thương lượng... Với các tương tác phức tạp như cạnh tranh, thương lượng, việc xây dựng chiến lược, mô hình để tác nhân thực hiện tương tác một cách tự động gặp nhiều khó khăn vì cần phải có những mô hình phù hợp và những công cụ mạnh hơn. Hơn nữa, do tác nhân có thể quyết định dựa trên tri thức, có khả năng phát động tương tác nên tương tác trong hệ đa tác nhân là rất khó đoán trước trong thời gian thiết kế. Vì vậy, tính linh động là điều tối cần thiết trong mô hình tương tác đa tác nhân, nghĩa là mô hình tương tác phải cung cấp cho tác nhân khả năng di chuyển và hoạt động từ vị trí này sang vị trí khác, thêm bớt một tác nhân một cách dễ dàng…

Để mô hình bài toán tại Trung tâm kiểm soát khai thác hàng không, có thể tận dụng các đặc điểm sau của MAS:

- Quyền tự chủ: Một MAS mô hình hóa các vấn đề về các thành phần tương tác tự trị, đây là một cách tự nhiên hơn để biểu diễn phân bổ nhiệm vụ, lập kế hoạch nhóm và sở thích của người dùng, trong số những thứ khác. Trong hình 3.1, các tác nhân “khôi phục khách”, ”khôi phục tàu bay” và khôi phục phi hành đoàn” (trong số những tác nhân khác) là các tác nhân có thể chọn phản hồi hoặc không phản hồi các yêu cầu theo mục tiêu riêng của họ.

- Các tác nhân là một phép ẩn dụ tự nhiên: AOCC được mô hình hóa một cách tự nhiên như một xã hội gồm các tác nhân hợp tác với nhau để giải quyết một vấn đề phức tạp như vậy.

- Khả năng phản ứng: Các tác nhân có thể nhận thức và phản ứng với những thay đổi trong môi trường của họ.

- Phân phối tài nguyên: Với MAS, chúng ta có thể phân phối tài nguyên và khả năng tính toán trên một mạng gồm các tác nhân được kết nối với nhau để tránh các vấn đề liên quan đến hệ thống tập trung. Ví dụ, các công ty hàng không thuộc một số quy mô có các cơ sở hoạt động khác nhau. Chúng ta có thể sử dụng MAS cho từng căn cứ khau thác, tận dụng đặc điểm quan trọng này. Do các đặc điểm nhận thức xã hội của một số tác nhân, họ có thể phân phối nhiệm vụ của mình cho các tác nhân khác có hành vi tương tự.

- Tính mô đun và khả năng mở rộng: Một MAS có thể mở rộng, có thể bảo trì, linh hoạt và khuyến khích sử dụng lại. Những đặc điểm này rất quan trọng trong các hệ thống có quy mô và độ phức tạp này.

- Đồng thời/Song song: Các tác nhân có khả năng suy luận và thực hiện các tác vụ song song. Điều này cung cấp tính linh hoạt và tăng tốc độ tính toán. Theo (Stone & Veloso, 2000) “nếu quyền kiểm soát và trách nhiệm được chia sẻ đầy đủ giữa các tác nhân, thì hệ thống có thể chịu đựng được các lỗi do một hoặc nhiều tác nhân gây ra”.

- Hệ thống kế thừa: AOCC cần thông tin tồn tại trong các hệ thống lỗi thời nhưng vẫn hoạt động. Chúng ta có thể bọc các thành phần kế thừa trên một lớp tác nhân, cho phép chúng tương tác với các thành phần phần mềm khác.

         Hệ thống đa tác nhân-MAS là một mô hình mạnh mẽ đại diện cho các tổ chức, các thực thể đơn lẻ của họ và môi trường xung quanh. Thực hiện việc xem xét các nghiên cứu, thực hiện các quan sát và kiến thức cá nhân về cơ cấu tổ chức của AOCC, có thể nhận thấy MAS là một đại diện tự nhiên cho loại hình tổ chức này. Ngoài ra, MAS thể hiện đầy đủ các đặc tính sẽ hỗ trợ đề xuất cách tiếp cận phân tán và phi tập trung đối với hệ thống quản lý gián đoạn năng động và tích hợp trong công tác kiểm soát khai thác của hãng hàng không. Năng động do các điều kiện thay đổi trong thời gian chạy, độc lập với trình giải quyết vấn đề và được tích hợp theo nghĩa nhằm tạo ra giải pháp đa góc độ cho vấn đề đang bị đe dọa.

Từ phân tích công việc của AOCC hiện hành, có thể thấy cách tiếp cận phân tán, có thể mở rộng và hợp tác có thể cải thiện đáng kể các vấn đề mà một tổ chức như vậy gặp phải, nghĩa là: từ kiến thức và nghiên cứu về AOCC cũng như nghiên cứu về mô hình MAS, chúng ta cho rằng mô hình này có thể sẽ giúp đề xuất cách tiếp cận phân tán và phi tập trung đối với quản trị gián đoạn tích hợp và năng động trong kiểm soát khai thác hàng không. Cách tiếp cận là phân tán vì nó cho phép phân phối vai trò và môi trường theo chức năng, không gian và vật lý (nghĩa là tài nguyên có sẵn), nó là phi tập trung vì một số quyết định được đưa ra tại các nốt khác nhau trong mạng lưới của các tác nhân, nó là tích hợp vì nó bao gồm các khía cạnh chính của bài toán: máy bay, phi hành đoàn và hành khách, và nó là động bởi vì, trong thời gian thực, một số tác nhân đang thực hiện trong môi trường phản ứng với hằng số thay đổi.

Mô hình MAS cho phép mô hình hóa các hệ thống bao gồm các tác nhân phần mềm, đại diện cho các vai trò hoặc chức năng cũng như môi trường xung quanh, bao gồm các tương tác giữa các tác nhân. Mô hình này đã đảm nhận tầm quan trọng ngày càng tăng không chỉ với tư cách là một mô hình nghiên cứu mà còn là một mô hình thực tiễn để giải quyết các vấn đề trong thế giới thực.

4. Đề xuất cấu trúc hệ thống đa tác nhân

Nhìn vào các vai trò hiện tại trong AOCC (Hình…), chúng ta thấy rằng các nhiệm vụ lặp đi lặp lại. Ví dụ, người kiểm soát về máy bay (một thành viên của đội máy bay) liên tục kiểm tra hệ thống máy tính (bao gồm e-mail, hệ thống dữ liệu, điện văn, v.v.) để xem có vấn đề gì có thể ảnh hưởng đến sự khởi hành hoặc đến của một chuyến bay. Một thói quen tương tự liên quan đến giám sát các thành viên phi hành đoàn được thực hiện bởi người kiểm soát phi hành đoàn (một thành viên của nhóm phi hành đoàn). Các thành viên của đội hành khách đang theo dõi các kết nối của hành khách để xem liệu có nguy cơ lỡ nối chuyến hay không.

Khi một vấn đề được phát hiện, quá trình giải quyết nó cũng rất lặp đi lặp lại. Ví dụ: nếu chuyến bay bị hoãn, kiểm soát viên máy bay tuân theo quy trình chung về giải quyết máy bay. Ngoài ra, các thành viên trong nhóm chọn những hành động này theo xác suất liên quan đến loại sự kiện gây ra sự cố.  Cân nhắc những điều trên cũng như đặc điểm của mô hình đa tác nhân, cách tiếp cận đề xuất xây dựng AOCC bằng một hệ thống đa tác nhân, thay thế giám sát, đội máy bay, đội phi hành đoàn, đội hành khách. và một phần của người giám sát, dịch vụ bảo trì và điều phái bay, bởi các tác nhân thông minh như được minh họa trong hình sau

Trong cách tiếp cận mới này, đội kiểm soát máy bay sẽ được thay thế bằng nhóm tác nhân (đại diện là quản lý máy bay). Tương tự với nhóm phi hành đoàn (đại diện là Quản lý phi hành đoàn) và nhóm hành khách (đại diện là Quản lý hành khách). Về các dịch vụ cung cấp cho hành khách, tác nhân phần mềm có nhiệm vụ tìm giải pháp tốt nhất cho các vấn đề với hành khách (thường là kế hoạch các chuyến bay thay thế cho từng hành khách bị gián đoạn). Người giám sát tương tác với các tác nhân phần mềm thông qua một tác nhân giao diện và sẽ không chỉ có thể đưa ra quyết định cuối cùng về giải pháp do MAS đề xuất mà còn cung cấp phản hồi cho giải pháp đó. Bằng cách này, Người giám sát dạy hệ thống cách phản ứng tốt hơn không chỉ trong các vấn đề tương tự có thể xảy ra trong tương lai mà còn trong vấn đề cụ thể đang được giải quyết. Tính năng này được gọi là Human-in-the-Loop. Các dịch vụ bảo trì và điều phối chuyến bay cũng sẽ tương tác với các tác nhân phần mềm thông qua một tác nhân giao diện. Điều này sẽ tạo thuận lợi cho việc nhập dữ liệu liên quan đến các sự kiện máy bay cũng như nhập và xuất dữ liệu tương ứng liên quan đến việc chuẩn bị chuyến bay.

- Giao thức đàm phán hỗn hợp

Giao thức GQN (Generic Q-Negotiation), phù hợp với môi trường hợp tác, cạnh tranh và hỗn hợp. Trong một môi trường hợp tác, các tác nhân không thể đạt được mục tiêu của mình một cách riêng lẻ và những người khác có thể giúp họ đạt được mục tiêu đó một cách dễ dàng hoặc hiệu quả hơn. Trong một môi trường cạnh tranh, các tác nhân có đầy đủ chuyên môn để đạt được mục tiêu cá nhân của họ và muốn tối đa hóa lợi ích của riêng họ, giả định rằng hành vi là ích kỷ. Trong một môi trường hỗn hợp, các tác nhân đảm nhận cả hành vi hợp tác và cạnh tranh. GQN là một giao thức đàm phán đa thuộc tính bao gồm một số vòng có khả năng thương thảo với các khía cạnh phụ thuộc lẫn nhau. Ngoài ra, các tác nhân có thể học hỏi trong quá trình đàm phán, do có chứa thuật toán Q-Learning (Watkins & Dayan, 1992). Thương lượng đa thuộc tính cho phép thảo luận (hoặc thương lượng) các giá trị của nhiều tham số đang được thương lượng. Đàm phán trong một số vòng cho phép các tác nhân sửa đổi các đề xuất của họ trong suốt quá trình, đó là được thực hiện theo cách thích ứng để tìm kiếm phản hồi định tính cho các đề xuất trước đây của họ. Trong GQN, các tác nhân có thể đảm nhận hai vai trò khác nhau: Người tổ chức và Người trả lời. Tác nhân tổ chức chịu trách nhiệm xác định vấn đề là gì, chia nó thành các vấn đề phụ -các khía cạnh của vấn đề - và bắt đầu thương lượng với những người khác để giải quyết các khía cạnh đó. Tác nhân trả lời có chuyên môn (một hoặc nhiều năng lực theo định nghĩa 5.11) về một hoặc nhiều khía cạnh và có thể thương lượng với các tác nhân trả lời khác (nếu cần) để có thể trình bày các giải pháp cho toàn bộ vấn đề với tác nhân tổ chức. Có thể có nhiều hơn một tác nhân trả lời có kiến thức chuyên môn về cùng một khía cạnh của một vấn đề (ví dụ: mặc dù họ có cùng chuyên môn nhưng họ có thể sử dụng một phương pháp/chiến lược giải quyết vấn đề khác).

- Thiết kế hệ thống