دنبالهای از متغیرهای تصادفی X1,X2,…X1,X2,… را که احتمال تغییر وضعیت از زمان tt به t+1t+1مستقل از وضعیتهای قبلی باشد را یک زنجیره مارکوف مینامند. این گزاره را به بیان متغیرهای تصادفی و تابع احتمال به صورت زیر نشان میدهیم. Pr(Xt+1=x∣X1=x1,X2=x2,…,Xn=xt)=Pr(Xt+1=x∣Xt=xt)Pr(Xt+1=x∣X1=x1,X2=x2,…,Xn=xt)=Pr(Xt+…