Poznámky ke zkoušce na předmět Pravděpodobnost a statistika

pst_tahak.typ

#let margin-size = 5mm
#set page(
  paper: "a4",
  flipped: true,
  margin: (top: margin-size, left: margin-size, bottom: margin-size, right: margin-size),
  numbering: "1",
  number-align: center,
)
#set text(size: 11pt, lang: "cs")
#set par(justify: true)
#set enum(numbering: "(a)")
#show heading.where(level: 2): set text(14pt)

#let frame(content) = box(content, stroke: black + 0.5pt, inset: 5pt, outset: 0pt, radius: 0.5em, width: 100%)

// , fill: gradient.linear(..color.map.rainbow)

#columns(3, gutter: 1em)[

= Pravděpodobnost

== Obecné

=== Podmíněná pravděpodobnost

#frame[
$ P(A|B) = P(A inter B)/P(B). $
]

=== Úplná pravděpodobnost

#frame[
$ P(B) = sum_(i=1)^n P(A_i) P(B|A_i). $
]

=== Bayesova věta

#frame[$ P(A|B) = (P(B|A) P(A))/P(B). $]

=== Binomická věta

#frame[$ (a + b)^n = sum_(k=0)^n vec(n, k) a^(n-k) b^k. $]

=== Nezávislost jevů

#frame[
  Jevy $A_1, dots, A_n$ jsou vzájemně nezávislé, pokud pro každou množinu ${k_1, dots, k_r} subset.eq {1, dots, n}$, kde $r in {2, dots, n}$, platí
  $ P(inter.big_(i=1)^r A_(k_i)) = product_(i=1)^r P(A_(k_i)). $
]

== Náhodné veličiny

=== Směs náhodných veličin

#frame[
  Nechť $S$ je spojitá a $D$ diskrétní náhodná veličina. Potom jako $"Mix"_c (D, S)$ značíme veličinu s distribuční funkcí
  $ F(x) = c F_D (x) + (1 - c) F_S (x). $
  Nechť $X_1, dots, X_n$ jsou náhodné veličiny, pak definujeme $"Mix"_(c_1, dots, c_n) (X_1, dots, X_n)$, kde $sum_(i=1)^n c_i = 1$, jako veličinu s distribuční funkcí
  $ F(x) = sum_(i=1)^n c_i F_(X_i) (x). $
]

=== Nezávislost náhodných veličin

#frame[
  Náhodné veličiny $X_1, dots, X_n$ jsou vzájemně nezávislé, pokud pro každou množinu ${k_1, dots, k_r} subset.eq {1, dots, n}$ a~pro každé $bb(x) in RR^r$, kde $r in {2, dots, n}$, platí
  $ 
  P(inter.big_(i=1)^r (X_(k_i) <= x_i)) = product_(i=1)^r P(X_(k_i) <= x_i). 
  $
]
#frame[
  Nechť $XX$ je diskrétní náhodný vektor. Jeho složky jsou nezávislé právě tehdy, když

$ P(inter.big_(i=1)^n (X_i = x_i)) = product_(j=1)^n P(X_j = x_j) $

pro všechna $bb(x) in RR^n$.
]
#frame[
  Nechť $XX$ je spojitý náhodný vektor. Jeho složky jsou nezávislé právě tehdy, když

$ f_XX (bb(x)) = product_(i=1)^n  f_(X_i)(x_i) $

pro všechna $bb(x) in RR^n$.
]

=== Střední hodnota, rozptyl a kovariance

#frame[$ EE X = integral_(- infinity)^infinity x "d"F(x). $]
#frame[$ EE(a X + b Y + c) = a EE X + b EE Y + c. $]
#frame[
$ 
"cov"(X, Y) &= \
&= EE(X - EE X)(Y - EE Y) \
&= EE X Y - EE X EE Y.
$
]
#frame[
$
"var"X &=\
&= "cov"(X, X) =\
&= EE (X - EE X)^2 =\
&= EE X^2 - (EE X)^2.
$
]
#frame[$ "var"(a X) = a^2"var"X. $]
#frame[$ "var"(X + a) = "var"X. $]
#frame[
  Pokud $X$ a $Y$ jsou nezávislé náhodné veličiny, pak

$ EE X, EE Y < infinity => EE X Y = (EE X) (EE Y), $
$ EE X^2, EE Y^2 < infinity => "cov"(X, Y) = 0. $
]

=== Korelace

#frame[$ "corr"(X, Y) = ("cov"(X, Y))/(sqrt("var"X)sqrt("var"Y)). $]
#frame[$ -1 <= "corr"(X, Y) <= 1. $]
#frame[$ "corr"(X, X) = 1. $]
#frame[$ "corr"(X, Y) = plus.minus 1 <=> Y = a plus.minus b X, b > 0. $]
#frame[$ "corr"(X, Y) = 0 <=> "cov"(X, Y) = 0. $]

=== Normování

#frame[$ Z = (X - EE X)/sqrt("var"X) => EE Z = 0, "var"Z = 1. $]

=== Kvantilová funkce

#frame[
$ q (alpha) = 1/2 (sup_(t in RR) F (t) <= alpha  + inf_(t in RR) F (t) >= alpha) $

pro $alpha in (0, 1).$
]

== Rozdělení

=== Alternativní: $X ~ "Alt"(p)$

#frame[$ P(X = 0) = 1 - p, P(X = 1) = p. $]
#frame[
$
F(x) = cases(
  0","     &" "x < 0",",
  1 - p"," &" "0 <= x <= 1",",
  1","     &" "x > 1"."
) 
$
]
#frame[$ EE X = p, "var"X = p(1-p). $]
#frame[
  Jestliže veličina $X ~ "Alt"(p)$ a $Y ~ "Alt"(p)$, potom $ X + Y ~ "Binom"(2, p). $
]

=== Binomické: $X ~ "Binom"(n, p)$

#frame[$ P(X = k) = vec(n, k) p^k (1-p)^(n-k), k = 0, dots, n. $]
#frame[$ EE X = n p, "var"X = n p(1 - p). $]
#frame[
Jestliže $X ~ "Binom"(n_1, p)$ a $Y ~ "Binom"(n_2, p)$, potom $X + Y ~ "Binom"(n_1 + n_2, p)$.
]

=== Multinomické: $X ~ "Multinom"(n, p_1, dots, p_k)$

#frame[
  $ P(X_1 = x_1, dots, X_k = x_k) = n!/(x_1! dot dots.c dot x_k!) p_1^(x_1) dot dots.c dot p_k^(x_k), $
  kde $sum_(i=1)^k x_i = n$.
]

=== Poissonovo: $X ~ "Po"(lambda)$

#frame[$ P(X = k) = e^(-lambda) lambda^k/k!, k in NN_0. $]
#frame[$ EE X = "var"X = lambda. $]
#frame[
  Jestliže $X ~ "Po"(lambda_1)$ a $Y ~ "Po"(lambda_2)$, potom $ X + Y ~ "Po"(lambda_1 + lambda_2). $
]

=== Geometrické: $X ~ "Ge"(p)$

#frame[$ P(X = k) = p(1-p)^k, k in NN_0. $]
#frame[$ EE X = (1-p)/p, "var"X = (1-p)/p^2. $]

=== Rovnoměrné: $X ~ "U"(a, b)$

#frame[$
f(x) = cases(
  1/(b-a)"," &" " a <= x <= b",",
  0","     &" jinak."
)
$]
#frame[$ F(x) = cases(
  0","           & x < a",",
  (x-a)/(b-a)"," & a <= x <= b",",
  1","           & x > b"."
) $]

#frame[$ EE X = (a+b)/2, "var"X = 1/12 (b - a)^2. $]

=== Exponenciální: $X ~ "Exp"(lambda)$

#frame[$ 
f(x) = cases(
  lambda e^(-lambda x)"," &" " x > 0",",
  0","                    &" " x <= 0"."
) 
$]
#frame[$ 
F(x) = cases(
  1 - e^(-lambda x)","    &" " x > 0",",
  0","                    &" " x <= 0"."
) 
$]
#frame[$ EE X = 1/lambda, "var"X = 1/lambda^2. $]

=== Normální: $X ~ "N"(mu, sigma^2)$

#frame[$ EE X = mu, "var"X = sigma^2. $]
#frame[$ Phi(x) = 1 - Phi(-x). $]
#frame[Jestliže veličiny $X ~ "N"(mu_1, sigma_1^2)$ a $Y ~ "N"(mu_2, sigma_2^2)$, potom $"cov"(X, Y) = 0$, $X + Y ~ "N"(mu_1 + mu_2, sigma_1^2 + sigma_2^2)$ a $X- Y ~ "N"(mu_1 - mu_2, sigma_1^2 + sigma_2^2).$]

=== Chí-kvadrát: $X ~ chi^2_n$

#frame[$ X_1, dots, X_n ~ "N"(0, 1) => sum_(i=1)^n X_i ~ chi^2_n. $]

=== Studentovo: $X ~ t_n$

#frame[$ X ~ "N"(0, 1), Y ~ chi^2_n => X/sqrt(Y) sqrt(n) ~ t_n. $]

=== Fisherovo-Snedecorovo: $X ~ F_(n, m)$

#frame[
  $ U ~ chi^2_n, V ~ chi^2_m => (U/n)/(V/m) ~ F_(n, m). $
]

== Náhodný vektor

=== Střední hodnota

#frame[$ EE XX = (EE X_1, dots, EE X_n). $]

=== (Ko)varianční matice

#frame[$ ("Var"XX)_"ij" = "cov"(X_i, X_j). $]

=== Korelační matice

#frame[$ ("Corr"XX)_"ij" = "corr"(X_i, X_j). $]

== Konvergence a limitní chování

=== Konvergence skoro jistě

#frame[
  $X_n$ konverguje k $X$ skoro jistě, jestliže

$ P(omega: lim_(n->infinity) X_n (omega) = X(omega)) = 1. $
]

=== Konvergence v pravděpodobnosti

#frame[
  Jestliže pro všechna $epsilon > 0$ platí, že

$ lim_(n -> infinity) P(omega : abs(X_n (omega) - X (omega)) > epsilon) = 0, $

pak $X_n$ konverguje k $X$ v pravděpodobnosti.
]
#frame[Konverguje-li $X_n$ skoro jistě, pak konverguje v pravděpodobnosti.]

=== Slabý zákon velkých čísel

#frame[
  $X_i$ jsou nezávislé a $forall i in NN : EE X_i = mu, "var"X_i = sigma^2 < infinity$, pak

$ 
1/n sum_(i=1)^n  X_i ->^(n->infinity) mu
$

v pravděpodobnosti.
]

=== Silný zákon velkých čísel

#frame[
$X_i$ jsou i.i.d. a $forall i in NN : EE X_i = mu, "var"X_i = sigma^2 < infinity$, pak

$ 
1/n sum_(i=1)^n  X_i ->^(n->infinity) mu.
$

skoro jistě.
]

=== Centrální limitní věta

#frame[
  Nechť $X_1, X_2, dots$ jsou i.i.d. náhodné veličiny, $EE X_i = mu$, $"var"X_i = sigma^2$. Označme

$ Z_n = (sum_(k = 1)^n X_k - n mu)/sqrt(n sigma^2), n in NN $

a $F_n (x)$ distribuční funkcí $Z_n$. Pak $ lim_(n -> infinity) F_n = Phi. $
]

= Statistika

== Obecné

=== Výběrový průměr

#frame[$ dash(X)_n = 1/n sum_(i=1)^n X_i. $]

=== Výběrová odchylka

#frame[$ S^2_n = 1/(n-1) sum_(i=1)^n (X_i - dash(X)_n)^2. $]

=== Výběrová směrodatná odchylka

#frame[$ S_n = sqrt(S_n^2). $]

=== Kvantil

#frame[
  Nechť $F$ je distribuční funkce a $0 < beta < 1$. Pak $beta$-kvantilem nazýváme hodnotu $z_beta$ takovou, že $F(z_beta) = beta$.
]

=== Empirická distribuční funkce

#frame[
  Nechť $bb(x)$ je realizace náhodného výběru $XX$, pak se

$ F_"emp" (x) = abs({x_i : x_i <= x})/n $

nazývá empirická distribuční funkce.
]

=== Kvartily a medián

#frame[
  Nechť $F_"emp" (x)$ je empirická distribuční funkce a $z_beta$ je $beta$-kvantil náhodné veličiny s touto distribuční funkcí. Potom:
  - $z_(1\/4)$ je 1. kvartil,
  - $z_(2\/4)$ je 2. kvartil, resp. medián a
  - $z_(3\/4)$ je 3. kvartil.
]

=== Modus

#frame[
  Modus je nejčastěji zastoupený prvek v realizaci náhodného výběru.
]

=== Boxplot

#frame[
  #align(center, box(height: 110pt, stroke: black, width: 50%)[
    #place(center + top, dy: 5pt, line(angle: 90deg, length: 25pt))
    #place(center + bottom, dy: -5pt, line(angle: 90deg, length: 25pt))
    #place(center + horizon, box(stroke: black, width: 10pt, height: 50pt))
    #place(center + horizon, line(length: 10pt))
    #place(center + bottom, dy: -5pt, line(length: 10pt))
    #place(center + top, dy: 5pt, line(length: 10pt))

    #place(center, dx: 35pt)[Maximum]
    #place(center + top, dy: 28pt, dx: 34pt)[\3. kvartil]
    #place(center + horizon, dx: 34pt)[\2. kvartil]
    #place(center + bottom, dy: -28pt, dx: 34pt)[\1. kvartil]
    #place(center, dy: 100pt, dx: 35pt)[Minimum]
  ])
]

== Odhady parametrů

=== Nestranný bodový odhad

#frame[
  Bodový odhad $hat(theta)$ parametru $theta$ je nestranný, jestliže $EE hat(theta) (XX) = theta$.
  Bodový odhad s nejmenším $"var"hat(theta)(XX)$ se nazývá eficientní.
]

=== Asymptoticky nestranný bodový odhad

#frame[
  Bodový odhad $hat(theta)$ parametru $theta$ je asymptoticky nestranný, jestliže
  $lim_(n -> infinity) EE hat(theta) (XX) = theta$.

  Nazveme ho konzistentní, jestliže navíc platí
  $lim_(n -> infinity) "var"hat(theta) (XX) = 0$.
]

=== Metoda momentů

#frame[
  Nechť $bb(x)$ je realizace náhodného výběru $XX$ a $XX$ závisí na parametrech $theta_1,dots, theta_k$. Pak řešíme soustavu 
  $ EE X^l = 1/n sum_(j=1)^n x_j^l," pro "l = 1, dots, k. $

  Alternativně, je-li $k=2$, řešíme soustavu danou rovnicemi $EE X_i = dash(x)_n$ a $"var"X_i = s^2_n$.
]

=== Metoda maximální věrohodnosti

#frame[
  Nechť $bb(x)$ je realizace náhodné výběru $XX$, pak je hodnota $theta$ maximálně věrohodným odhadem, jestliže v ní nabývá maxima funkce
  $ L(theta) = product_(i=1)^n P_theta (X_i = x_i), $
  resp.
  $ L(theta) = product_(i=1)^n f_theta (x_i). $

  Pro zjednodušení výpočtu:
  $ l(theta) = log(L(theta)) = sum_(i=1)^n log (P_theta (X_i = x_i)), $
  resp.
  $ l(theta) = log(L(theta)) = sum_(i=1)^n log (f_theta (x_i)). $
]

== Intervalové odhady

#frame[
  Interval $(theta^*_L (XX), theta^*_U (XX))$ je intervalovým odhadem (intervalem spolehlivosti) parametru $theta$ rozdělení $X$ na hladině $alpha$, jestliže platí
  $ P(theta^*_L (XX) <= theta <= theta^*_U (XX)) = 1 - alpha. $

  Interval $(-infinity, theta^*_U)$ (resp. $(theta^*_L, infinity)$) je horním (resp. dolním) intervalový odhad parametru $theta$ rozdělení $X$ na hladině $alpha$, jestliže platí
  $ P(theta <= theta^*_U (XX)) = 1 - alpha, $
  resp.
  $ P(theta^*_U (XX) <= theta) = 1 - alpha. $
]

== Testování hypotéz

=== Jednovýběrový t-test

#frame[
  Testujeme, zda $mu = mu_0$, pro $X_i ~ N(mu, sigma^2)$, kde $sigma^2 > 0$.
  $ T = (dash(X)_n - mu_0)/S_n sqrt(n) ~ t_(n-1). $
]

=== Párový t-test

#frame[
  Studujeme párové znaky $YY$ a $ZZ$. Testujeme, zda $mu_(Y_i) - mu_(Z_i) = mu_0$ (většinou $mu_0 = 0$). Položíme $XX = YY - ZZ$, a pokud $X_i ~ N(mu, sigma^2)$, použijeme jednovýběrový t-test.
]

=== Dvouvýběrový t-test

#frame[
  Nechť $XX$ a $YY$ jsou nezávislé výběry, kde $X_i ~ N(mu_X, sigma_X^2)$ a $Y_i ~ N(mu_Y, sigma_Y^2)$. Testujeme, zda $mu_X - mu_Y = mu_0$.
  $ T = (dash(X)_n - dash(Y)_n - (mu_X - mu_Y))/(sqrt((m-1) S^2_X + (n-1)S^2_Y)) sqrt((m n (m + n - 2))/(m + n)), $
  kde $T ~ t_(m + n - 2)$.
]

=== Test shody rozptylů

#frame[
  Nechť $XX$ a $YY$ jsou nezávislé výběry, kde $X_i ~ N(mu_X, sigma_X^2)$ a $Y_i ~ N(mu_Y, sigma_Y^2)$. Testujeme, zda $sigma^2_X = sigma^2_Y$.
  $ T = S^2_X/S^2_Y ~ F_(m-1, n-1). $
]

=== Pearsonův $chi^2$ test dobré shody

#frame[
  Nechť $XX$ je výběr, kde $X_i ~ "Multinom"(n, p_1, dots, p_k)$. Testujeme, "zda jsou marginální pravděpodobnosti rovny hodnotám $p_1, dots, p_k$."
  $ T = sum_(i=1)^k (X_i - n p_i)^2/(n p_i) ~ chi^2_(k-1). $ 
  Zamítáme $H_0$, pokud $T > chi^2_(1-alpha, k-1)$.
]

=== Test nezávislosti

#frame[
  Nechť $XX$ a $YY$ jsou náhodné výběry, kde $X_i$ nabývá hodnota $1, dots, r$ a $Y_i$ nabývá hodnot $1, dots, c$. Testujeme, "zda jsou $X$ a $Y$ nezávislé." Označme $n_(i j)$ počet dvojic $(X_k = i, Y_k = j)$, $n_(i dot) = sum_j n_(i j)$ a $n_(dot j) = sum_i n_(i j)$.
  $ T = sum_(i=1)^r sum_(j=1)^c (n_(i j) - (n_(i dot) n_(dot j))/n)^2/((n_(i dot) n_(dot j))/n) ~ chi^2_((r - 1)(c - 1)). $
  Zamítáme $H_0$, pokud $T >= chi^2_(1- alpha, (r-1)(c-1))$.
]

= Náhodné procesy

== Náhodný proces

#frame[
  Nechť $(Omega, cal(A), P)$ je pravděpodobnostní prostor a $T subset RR$. Rodina náhodných veličin ${X_t, t in T}$ definovaných na $(Omega, cal(A), P)$ se nazývá náhodný (stochastický) proces.
]

== Množina stavů

#frame[
  Nechť ${X_t, t in T}$ je náhodný proces. Potom definujeme množinu stavů jako 
  $ S = {x | "existuje" t in T "takové, že" P(X_t = x) > 0}. $
]

== Markovský řetězec s diskrétním časem

#frame[
  Posloupnost náhodných veličin ${X_n, n in NN}$ nazveme Markovský řetězec s diskrétním časem, jestliže
  $ P(X_n = i_n | inter.big_(k=1)^(n-1) (X_k = i_k)) =\ = P(X_n = i_n | X_(n-1) = i_(n-1)) $
  pro všechna $n in NN$ a všechna $i_1, dots, i_n in S$ taková, že 
  $ P(inter.big_(k=1)^(n-1) (X_k = i_k)) > 0. $
]

#frame[
  $ P(X_(n+1) = j | X_n = i) = p_(i j) (n, n + 1). $
]

=== Homogenita

#frame[
  Řetězec nazveme homogenním, pokud platí
  $ p_(i j) (n, n + m) = p_(i j) (k, k + m) "pro všechna" n, k in NN. $
  Potom značíme $ p_(i j) = p_(i j) (n, n + 1)$.
]

=== Stacionární rozdělení

#frame[
  Nechť $PP$ je matice přechodu a pro $pi in S$ platí $ pi PP = pi, $ pak $pi$ je stacionární rozdělení.
]

=== Čas prvního návratu

#frame[
  Čas prvního návratu do stavu $j$ je náhodná veličina
  $ tau_j = inf{n > 0 : X_n = j}. $
]

=== Trvalý a přechodný stav

#frame[
  Stav $j$ je trvalý, pokud
  $ P_j (tau_j != infinity) = P_j (tau_j < infinity) =  1, $
  a stav $j$ je přechodný, pokud
  $ P_j (tau_j = infinity) > 0. $

  Stav je trvalý právě tehdy, když není přechodný.
]

=== Nulový stav

#frame[
  Střední hodnotu doby návratu označíme 
  $ mu_j = EE[tau_j | X_0 = j]. $

  Trvalý stav $j$ se nazývá nulový, jestliže $mu_j = infinity$, a nenulový, jestliže $mu_j < infinity$.
]

=== Periodický stav

#frame[
  Největší společný dělitel $n > 0$, pro které platí $p_(j j)^((n)) > 0$, označíme $d_j$.

  Je-li $d_j > 1$, stav $j$ je periodický s periodou $d_j$, je-li $d_j = 1$ je stav neperiodický.
]

=== Limitní chování

#frame[
  + Nechť $j$ je přechodný stav. Potom $lim_(n->infinity) p_(i j)^((n)) = 0$ pro všechna $i in S$.
  + Nechť $j$ je trvalý nulový stav. Potom $lim_(n->infinity) p_(i j)^((n)) = 0$ pro všechna $i in S$.
  + Nechť $j$ je trvalý nenulový stav. Potom $lim_(n->infinity) p_(j j)^((n)) = 1/mu_j$.
  + Nechť $j$ je trvalý nenulový stav s periodou $d_j$. Potom $lim_(n->infinity) p_(j j)^((n d_j)) = d_j/mu_j$.
]

#frame[
  Trvalý stav je nulový právě tehdy, když 
  $ lim_(n -> infinity) p_(j j)^((n)) = 0. $
]

=== Dosažitelnost stavů

#frame[
  Stav $j$ je dosažitelný ze stavu $i$, jestliže existuje $n in NN$ takové, že $p_(i j)^((n)) > 0$. Jinak je stav $j$ ze stavu $i$ nedosažitelný.
]

#frame[
  Množina stavů $C$ se nazývá uzavřená komponenta, když stav $j$ je nedosažitelný ze stavu $i$ pro všechny stavy $i in C$ a $j in.not C$.
]

=== Absorpční stav

#frame[
  Platí-li pro stav $j$, že $p_(j j) = 1$, stav nazveme absorpční.
]
]