Chơng IV PHÂN TÍCH MARKOV VÀ ӬNG DӨNG 1. Các khái niệm cơ bản về xích Markov 1.1. Mt s đnh ngha Nhiều mô hình ngẫu nhiên trong Vận trù học, Kinh tế, K thuật, Dân số học, Di truyền học,... dựa trên cơ sở là quá trình Markov. ặc biệt, hiện tại một lnh vực mới về Tin − Sinh học (Bioinformatics) chuyên nghiên cứu về gene ứng dụng rất mạnh các vấn đề của lí thuyết các quá trình Markov. Trong ngành Cơ điện hiện nay nhiều chuyên gia lí thuyết và thực hành cng rất quan tâm tới quá trình Markov nói chung, còng nh− c¸c qu¸ tr×nh sinh−tö hay qu¸ tr×nh håi phôc nãi riªng. Ví dụ: Xét một hệ thống vật lí tiến triển theo thời gian. Tại thời điểm t = 0, hệ thống có thể rơi vào một trong ba trạng thái (hay vị trí) 1, 2 hoặc 3 một cách ngẫu nhiên. Kí hiệu X(0) là vị trí của hệ thống tại thời điểm t = 0, thì X(0) là một biến ngẫu nhiên, có thể nhận các giá trị 1 hoặc 2 hoặc 3 với các xác suất nhất định. Giả sử rằng cn cứ vào các kết quả quan sát hay nghiên cứu, chúng ta có bảng phân phối xác suất sau cho X(0): Các giá trị của X(0) 1 2 3 Xác suất tương ứng 0,2 0,5 0,3 Tại các thời điểm tiếp theo, chẳng hạn, t = 1, 2, 3, … vị trí của hệ thống sẽ được mô tả bởi các biến ngẫu nhiên X(1), X(2), X(3), … với các bảng phân phối xác suất tương ứng. Dựa trên ví dụ này, chúng ta xét định ngha sau về quá trình ngẫu nhiên. Định nghĩa 1 Xét một hệ thống vật lí (hay một hệ thống sinh thái, hệ thống dịch vụ,… ) tiến triển theo thời gian. Gọi X(t) là vị trí (tình trạng) của hệ tại thời điểm t. Như vậy ứng với mỗi thời điểm t, X(t) chính là một biến ngẫu nhiên mô tả vị trí (tình trạng) của hệ thống. Quá trình {X(t)} t≥0 được gọi là một quá trình ngẫu nhiên. Tập hợp các vị trí có thể có của hệ gọi là không gian trạng thái. Không gian trạng thái được kí hiệu là S. Trong ví dụ trên, nếu giả sử rằng X(t) chỉ có thể nhận một trong ba giá trị 1, 2, 3 ∀t, thì S = {1, 2, 3}. Giả sử trước thời điểm s, hệ đã ở trạng thái nào đó, còn tại thời điểm s, hệ ở trạng thái i. Chúng ta muốn đánh giá xác suất để tại thời điểm t (t >s), hệ sẽ ở trạng thái j. Nếu xác suất này chỉ phụ thuộc vào bộ bốn (s, i, t, j), tức là P[X(t) = j/X(s) = i] = p(s, i,