Skip to main content

Conditional Probability

Suppose that you flip two fair coins. There are 4 possible outcomes of the two flips:

  1. H HH\ H   (both coins land heads),
  2. H TH\ T   (the first coin lands heads and the second coin lands tails),
  3. T HT\ H   (the first coin lands tails and the second coin lands heads), and
  4. T TT\ T   (both coins land tails).

Since the coins are fair, for each coin, the probability that the coin lands heads (respectively, tails) is 0.50.5. Since we are flipping two different coins (so the flips are independent), the probability of each of the outcomes is 0.250.25. Suppose that PP means "the first coin landed heads" and QQ means "the second coin landed heads". The following stochastic truth table summarizes the above information:

PPQQ
0.250.25 T\mathsf{T}T\mathsf{T}
0.250.25 T\mathsf{T}F\mathsf{F}
0.250.25 F\mathsf{F}T\mathsf{T}
0.250.25 F\mathsf{F}F\mathsf{F}

Then, as expected, Pr(P)=Pr(Q)=0.5Pr(P)=Pr(Q)=0.5 (the probability that each coin lands heads is 0.50.5). What is the probability that "at least one coin lands heads"?

Suppose that we learn that at least one of the coins landed heads. That is, we learn that ((P∧Q)∨(P∧¬Q)∨(¬P∧Q))((P\wedge Q)\vee (P\wedge \neg Q)\vee (\neg P\wedge Q)) is true. Given this information about the outcome of the flip of the two coins, what is the probability that the second coin landed heads?

Since we learned something about the flip of the coins, we need to change the probabilities assigned to each row in the above stochastic truth table. We learned that there is no chance that both PP and QQ are false. So, row 4 should be assigned 0. However, simply changing the last row of the truth table to 0 is not the only change we need to make. The sum of the numbers assigned to each row of a stochastic truth table must be 1, so we must change the numbers assigned to the first three rows (otherwise the sum of the rows would be 0.25+0.25+0.25+0=0.750.25 + 0.25 +0.25 +0 = 0.75). Thus, we need to find three numbers: aa assigned to row 1, bb assigned to row 2 and cc assigned to row 3 such that a+b+c=1.a+b+c=1.

Of course, there are infinitely many numbers aa, bb and cc that sum to 1. We can determine which numbers to assign to the first three rows as follows: Note that the information that we learned (that at least one of the coins is heads) should not change any of the relationships between the probabilities assigned to the first three rows. For instance, before learning the new information, the probability assigned to the first row is the same as the probability assigned to the second row. Learning that at least one coin landed heads should not change this relationship. Thus, we need three numbers aa, bb, and cc such that a+b+c=1a+b+c=1 and a=b=ca=b=c. The unique solution to this is a=b=c=13a=b=c=\frac{1}{3}. That is, after learning the information, we have the following stochastic truth table:

PPQQ
1/31/3 T\mathsf{T}T\mathsf{T}
1/31/3 T\mathsf{T}F\mathsf{F}
1/31/3 F\mathsf{F}T\mathsf{T}
00 F\mathsf{F}F\mathsf{F}

After learning that at least one coin landed heads, the probability that the second coin landed heads is 23\frac{2}{3} (i.e., Pr(Q)=23Pr(Q)=\frac{2}{3}). Furthermore, note that in the above stochastic truth table, Pr((P∧Q)∨(P∧¬Q)∨(¬P∧Q)))=1Pr((P\wedge Q)\vee (P\wedge \neg Q)\vee (\neg P\wedge Q)))=1, as expected.

We will now introduce some notation that allows us to talk about probabilities after learning some information.

Conditional Probability

Suppose that XX and YY are formulas. The conditional probability of XX given YY is denoted Pr(X ∣ Y)Pr(X\ |\ Y). The conditional probability of XX given YY is calculated as follows:

Pr(X ∣ Y)=Pr(X∧Y)Pr(Y).Pr(X\ |\ Y) = \frac{Pr(X\wedge Y)}{Pr(Y)}.

We assume that Pr(Y)>0Pr(Y) > 0. Otherwise, the conditional probability Pr(X ∣ Y)Pr(X\ |\ Y) is undefined.

Example

Given the original stochastic truth table given at the beginning of this section:

PPQQ
0.250.25 T\mathsf{T}T\mathsf{T}
0.250.25 T\mathsf{T}F\mathsf{F}
0.250.25 F\mathsf{F}T\mathsf{T}
0.250.25 F\mathsf{F}F\mathsf{F}

We have the following:

  • Pr(Q)=12Pr(Q)=\frac{1}{2}

  • Pr((P∧Q)∨(P∧¬Q)∨(¬P∧Q)))=34Pr((P\wedge Q)\vee (P\wedge \neg Q)\vee (\neg P\wedge Q))) = \frac{3}{4}

If YY is the formula (P∧Q)∨((P∧¬Q)∨(¬P∧Q))(P\wedge Q)\vee ((P\wedge \neg Q)\vee (\neg P\wedge Q)), then:

  • Pr(Q ∣ Y)=23Pr(Q\ |\ Y) = \frac{2}{3}

  • Pr(Y ∣ Y)=1Pr(Y\ |\ Y) = 1

Tutorial#


Consult https://setosa.io/conditional/ for a very nice interactive tutorial illustrating conditional probability (note that this website uses "A∩BA\cap B" instead of "A∧BA\wedge B")

Practice Questions#

  1. Fill in the remaining truth values and find the probabilities of the formulas.

    PPQQ(P∧Q)(P\wedge Q)(Q∧P)(Q\wedge P)
    0.2 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.3 T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.3 F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0.2 F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    Pr(P∣Q) = Pr(P\mid Q)\ =\ Pr(P∧Q)Pr(P\wedge Q)/ / Pr(Q)Pr(Q)  = \ =\ 0.200.20/ / 0.500.50 = 0.400\ =\ 0.400
    Pr(Q∣P) = Pr(Q\mid P)\ =\ Pr(Q∧P)Pr(Q\wedge P)/ / Pr(P)Pr(P)  = \ =\ 0.200.20/ / 0.500.50 = 0.400\ =\ 0.400

  2. Fill in the remaining truth values and find the probabilities of the formulas.

    PPQQ(P∧Q)(P\wedge Q)(Q∧P)(Q\wedge P)
    0.2 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.3 T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.35 F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0.15 F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    Pr(P∣Q) = Pr(P\mid Q)\ =\ Pr(P∧Q)Pr(P\wedge Q)/ / Pr(Q)Pr(Q)  = \ =\ 0.200.20/ / 0.550.55 = 0.364\ =\ 0.364
    Pr(Q∣P) = Pr(Q\mid P)\ =\ Pr(Q∧P)Pr(Q\wedge P)/ / Pr(P)Pr(P)  = \ =\ 0.200.20/ / 0.500.50 = 0.400\ =\ 0.400

  3. Fill in the remaining truth values and find the probabilities of the formulas.

    PPQQ(P→Q)(P\rightarrow Q)(P∧Q)(P\wedge Q)(Q∧P)(Q\wedge P)
    0 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.5 T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.5 F\mathsf{F}T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0 F\mathsf{F}F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    Pr(P→Q)Pr(P\rightarrow Q) = \ =\ 0.500.50
    Pr(P∣Q) = Pr(P\mid Q)\ =\ Pr(P∧Q)Pr(P\wedge Q)/ / Pr(Q)Pr(Q)  = \ =\ 0.000.00/ / 0.500.50 = 0.000\ =\ 0.000
    Pr(Q∣P) = Pr(Q\mid P)\ =\ Pr(Q∧P)Pr(Q\wedge P)/ / Pr(P)Pr(P)  = \ =\ 0.000.00/ / 0.500.50 = 0.000\ =\ 0.000

  4. Fill in the remaining truth values and find the probabilities of the formulas.

    PPQQ(P∧(P∨Q))(P\wedge (P\vee Q))(P∨Q)(P\vee Q)
    0.1 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.2 T\mathsf{T}F\mathsf{F}T\mathsf{T}T\mathsf{T}
    0.6 F\mathsf{F}T\mathsf{T}F\mathsf{F}T\mathsf{T}
    0.1 F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    Pr(P∣(P∨Q)) = Pr(P\mid (P\vee Q))\ =\ Pr(P∧(P∨Q))Pr(P\wedge (P\vee Q))/ / Pr(P∨Q)Pr(P\vee Q)  = \ =\ 0.300.30/ / 0.900.90 = 0.333\ =\ 0.333

  5. Fill in the remaining truth values and find the probabilities of the formulas. (Compare this answer with the previous problem.)

    PPQQ(Q∧(P∨Q))(Q\wedge (P\vee Q))(P∨Q)(P\vee Q)
    0.1 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.2 T\mathsf{T}F\mathsf{F}F\mathsf{F}T\mathsf{T}
    0.6 F\mathsf{F}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.1 F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    Pr(Q∣(P∨Q)) = Pr(Q\mid (P\vee Q))\ =\ Pr(Q∧(P∨Q))Pr(Q\wedge (P\vee Q))/ / Pr(P∨Q)Pr(P\vee Q)  = \ =\ 0.700.70/ / 0.900.90 = 0.778\ =\ 0.778

  6. Fill in the remaining truth values and find the probabilities of the formulas.

    PPQQ(P∧¬Q)(P\wedge \neg Q)¬Q\neg Q(P∧Q)(P\wedge Q)
    0.3 T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}T\mathsf{T}
    0.1 T\mathsf{T}F\mathsf{F}T\mathsf{T}T\mathsf{T}F\mathsf{F}
    0.1 F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.5 F\mathsf{F}F\mathsf{F}F\mathsf{F}T\mathsf{T}F\mathsf{F}
    Pr(P∣¬Q) = Pr(P\mid \neg Q)\ =\ Pr(P∧¬Q)Pr(P\wedge \neg Q)/ / Pr(¬Q)Pr(\neg Q)  = \ =\ 0.100.10/ / 0.600.60 = 0.167\ =\ 0.167
    Pr(P∣Q) = Pr(P\mid Q)\ =\ Pr(P∧Q)Pr(P\wedge Q)/ / Pr(Q)Pr(Q)  = \ =\ 0.300.30/ / 0.400.40 = 0.750\ =\ 0.750

  7. Fill in the remaining truth values and find the probabilities of the formulas.

    PPQQ(P∧Q)(P\wedge Q)(¬P∧Q)(\neg P\wedge Q)
    0.3 T\mathsf{T}T\mathsf{T}T\mathsf{T}F\mathsf{F}
    0.1 T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}T\mathsf{T}F\mathsf{F}T\mathsf{T}
    0.5 F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    Pr(P∣Q) = Pr(P\mid Q)\ =\ Pr(P∧Q)Pr(P\wedge Q)/ / Pr(Q)Pr(Q)  = \ =\ 0.300.30/ / 0.400.40 = 0.750\ =\ 0.750
    Pr(¬P∣Q) = Pr(\neg P\mid Q)\ =\ Pr(¬P∧Q)Pr(\neg P\wedge Q)/ / Pr(Q)Pr(Q)  = \ =\ 0.100.10/ / 0.400.40 = 0.250\ =\ 0.250

  8. Fill in the remaining truth values and find the probabilities of the formulas.

    PPQQ((P→Q)∧P)((P\rightarrow Q)\wedge P)((Q→P)∧P)((Q\rightarrow P)\wedge P)
    0.2 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.2 T\mathsf{T}F\mathsf{F}F\mathsf{F}T\mathsf{T}
    0.3 F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0.3 F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    Pr((P→Q)∣P) = Pr((P\rightarrow Q)\mid P)\ =\ Pr((P→Q)∧P)Pr((P\rightarrow Q)\wedge P)/ / Pr(P)Pr(P)  = \ =\ 0.200.20/ / 0.400.40 = 0.500\ =\ 0.500
    Pr((Q→P)∣P) = Pr((Q\rightarrow P)\mid P)\ =\ Pr((Q→P)∧P)Pr((Q\rightarrow P)\wedge P)/ / Pr(P)Pr(P)  = \ =\ 0.400.40/ / 0.400.40 = 1.000\ =\ 1.000

  9. Fill in the remaining truth values and find the probabilities of the formulas.

    PPQQRR((P→Q)∧R)((P\rightarrow Q)\wedge R)(¬P∧R)(\neg P\wedge R)(Q∧R)(Q\wedge R)
    0.2 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}F\mathsf{F}T\mathsf{T}
    0.1 T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 T\mathsf{T}F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.1 F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}F\mathsf{F}T\mathsf{T}T\mathsf{T}T\mathsf{T}F\mathsf{F}
    0.2 F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    Pr((P→Q)∣R) = Pr((P\rightarrow Q)\mid R)\ =\ Pr((P→Q)∧R)Pr((P\rightarrow Q)\wedge R)/ / Pr(R)Pr(R)  = \ =\ 0.400.40/ / 0.500.50 = 0.800\ =\ 0.800
    Pr(¬P∣R) = Pr(\neg P\mid R)\ =\ Pr(¬P∧R)Pr(\neg P\wedge R)/ / Pr(R)Pr(R)  = \ =\ 0.200.20/ / 0.500.50 = 0.400\ =\ 0.400
    Pr(Q∣R) = Pr(Q\mid R)\ =\ Pr(Q∧R)Pr(Q\wedge R)/ / Pr(R)Pr(R)  = \ =\ 0.300.30/ / 0.500.50 = 0.600\ =\ 0.600

  10. Fill in the remaining truth values and find the probabilities of the formulas.

    PPQQRR(P→Q)(P\rightarrow Q)(P→R)(P\rightarrow R)(Q∧P)(Q\wedge P)(R∧P)(R\wedge P)
    0.2 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.1 T\mathsf{T}T\mathsf{T}F\mathsf{F}T\mathsf{T}F\mathsf{F}T\mathsf{T}F\mathsf{F}
    0.1 T\mathsf{T}F\mathsf{F}T\mathsf{T}F\mathsf{F}T\mathsf{T}F\mathsf{F}T\mathsf{T}
    0.1 T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}T\mathsf{T}F\mathsf{F}T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}F\mathsf{F}T\mathsf{T}T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0.2 F\mathsf{F}F\mathsf{F}F\mathsf{F}T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    Pr(P→Q)Pr(P\rightarrow Q) = \ =\ 0.800.80
    Pr(P→R)Pr(P\rightarrow R) = \ =\ 0.800.80
    Pr(Q∣P) = Pr(Q\mid P)\ =\ Pr(Q∧P)Pr(Q\wedge P)/ / Pr(P)Pr(P)  = \ =\ 0.300.30/ / 0.500.50 = 0.600\ =\ 0.600
    Pr(R∣P) = Pr(R\mid P)\ =\ Pr(R∧P)Pr(R\wedge P)/ / Pr(P)Pr(P)  = \ =\ 0.300.30/ / 0.500.50 = 0.600\ =\ 0.600

  11. Fill in the remaining truth values and find the probabilities of the formulas.

    AABBCC((A∧B)∧C)((A\wedge B)\wedge C)((C→B)∧¬B)((C\rightarrow B)\wedge \neg B)¬B\neg B
    0.2 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0.1 T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 T\mathsf{T}F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}T\mathsf{T}
    0.2 T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}T\mathsf{T}T\mathsf{T}
    0.1 F\mathsf{F}T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}T\mathsf{T}
    0.1 F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}T\mathsf{T}T\mathsf{T}
    Pr((A∧B)∣C) = Pr((A\wedge B)\mid C)\ =\ Pr((A∧B)∧C)Pr((A\wedge B)\wedge C)/ / Pr(C)Pr(C)  = \ =\ 0.200.20/ / 0.500.50 = 0.400\ =\ 0.400
    Pr((C→B)∣¬B) = Pr((C\rightarrow B)\mid \neg B)\ =\ Pr((C→B)∧¬B)Pr((C\rightarrow B)\wedge \neg B)/ / Pr(¬B)Pr(\neg B)  = \ =\ 0.300.30/ / 0.500.50 = 0.600\ =\ 0.600

  12. Fill in the remaining truth values and find the probabilities of the formulas.

    AABBCC((A∨B)∧C)((A\vee B)\wedge C)((B→C)∧¬B)((B\rightarrow C)\wedge \neg B)¬B\neg B
    0.2 T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0.1 T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 T\mathsf{T}F\mathsf{F}T\mathsf{T}T\mathsf{T}T\mathsf{T}T\mathsf{T}
    0.2 T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}T\mathsf{T}T\mathsf{T}
    0.1 F\mathsf{F}T\mathsf{T}T\mathsf{T}T\mathsf{T}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}T\mathsf{T}F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}
    0.1 F\mathsf{F}F\mathsf{F}T\mathsf{T}F\mathsf{F}T\mathsf{T}T\mathsf{T}
    0.1 F\mathsf{F}F\mathsf{F}F\mathsf{F}F\mathsf{F}T\mathsf{T}T\mathsf{T}
    Pr((A∨B)∣C) = Pr((A\vee B)\mid C)\ =\ Pr((A∨B)∧C)Pr((A\vee B)\wedge C)/ / Pr(C)Pr(C)  = \ =\ 0.400.40/ / 0.500.50 = 0.800\ =\ 0.800
    Pr((B→C)∣¬B) = Pr((B\rightarrow C)\mid \neg B)\ =\ Pr((B→C)∧¬B)Pr((B\rightarrow C)\wedge \neg B)/ / Pr(¬B)Pr(\neg B)  = \ =\ 0.500.50/ / 0.500.50 = 1.000\ =\ 1.000