§ 3. Связь различных событий. Условные вероятности. Независимые события. Количество информации

1. При анализе того или иного явления перед наблюдателем часто возникает вопрос о том, как влияет на возможность осуществления некоторого события А наступление некоторого другого события В. Простейшим примером связи событий А и В может служить следующее: наступление В ведет к обязательному осуществлению события А или, наоборот, наступление В исключает возможность осуществления события А. В теории вероятностей характеристикой связи событий А и В служит так называемая условная вероятность Р (А|В) события А при условии В, определяемая как

(3.0)

(предполагается, что вероятность события В является положительной).

Величина Р (А|В) может рассматриваться как вероятность осуществления события А при условии наступления события В. Поясним это на примере опыта с конечным числом равновероятных элементарных исходов ω. Пусть N - число всех элементарных исходов, N (B) - число тех из них, которые приводят к наступлению события В, а N (АВ) - число тех элементарных исходов, которые приводят к осуществлению и события A, и события В. В этом случае вероятности событий В и АВ суть и так что условная вероятность Р (А|В) выражается следующей формулой:

(3.1)

Здесь N (B) - число всех элементарных исходов со, возможных при условии наступления события В, а N (АВ) - число тех из них, которые приводят к осуществлению события А. В соответствии с общей формулой (1.0) равенство (3.1) определяет вероятность события А в новых условиях, которые возникают при наступлении события В.

Условные вероятности обладают всеми свойствами, присущими обычным вероятностям. Именно,

если наступление события В исключает возможность осуществления А (АВ = ∅), то

если событие В ведет к обязательному осуществлению события то

если событие А есть объединение непересекающихся событий то

Действительно, если АВ = ∅, т. е. события А и В являются непересекающимися, то P (AB) = 0, откуда и если то AB = B и Р (АВ) = Р (В), что равносильно равенству Р (А|В) = 1; если событие А есть объединение непересекающихся событий А₁, А₂, ..., то произведение АВ является объединением непересекающихся событий A₁B, A₂B, ... и, согласно общей формуле (2.0),

откуда и вытекает указанный выше закон сложения условных вероятностей.

При нахождении вероятности того или иного события A, бывает удобным сначала считать осуществившимся подходящим образом выбранное событие В и определить условную вероятность Р (A|В) как вероятность события A в новых условиях, когда событие В является достоверным. Если имеется некоторая полная система несовместных событий B = B₁, B₂, ..., т. е. таких, что хотя бы одно из них обязательно осуществится, то вероятность Р (A) события A выражается через соответствующие условные вероятности Р (A|В) при помощи следующей формулы:

Это соотношение называется формулой полной вероятности. Оно вытекает из закона сложения вероятностей. Действительно, объединение событий В₁, В₂, ... по условию является достоверным событием: следовательно, и

Рис. 3

Пример. Представьте себе странника, идущего из некоторого пункта О и на разветвлении дорог выбирающего наугад один из возможных путей. Схема дорог изображена на рис. 3. На этом рисунке указан также некоторый пункт А и ведущие в него пути. Какова вероятность того, что странник попадет в этот пункт? Как показано на рисунке, его путь обязательно проходит через один из промежуточных пунктов В₁, В₂, В₃, В₄. Обозначим через B_k событие, состоящее в том, что при своем движении он попадает в пункт В_k. События В₁, В₂, В₃, В₄ образуют полную систему. Очевидно, эти события равновероятны, так как по условию странник выбирает один из путей OВ₁, OВ₂, OВ₃, OВ₄ совершенно наугад. Таким образом, Р (B_k) = ¹/₄. При условии, что странник попадет в В₁, он может прийти в A, лишь выбрав одно из трех равновероятных направлений движения из пункта В₁, так что условная вероятность прийти в A при условии В₁ равна ¹/₃. Если обозначить через А событие, состоящее в том, что странник приходит в пункт A, то, как было сказано, Совершенно аналогично

и по формуле полной вероятности

Задача о наилучшем выборе. Предположим, что имеется некоторая совокупность из m предметов, сравнивая которые, наблюдатель может сказать, который лучше или хуже, а задача состоит в том, чтобы выбрать предмет как можно лучше. Предположим, что эта задача осложняется следующим обстоятельством: осмотрев и отвергнув некоторый предмет, нельзя к нему снова возвращаться. Тогда, в частности, можно случайно отвергнуть абсолютно наилучший предмет в надежде найти еще более лучший при дальнейшем осмотре (представьте себе, например, разборчивую невесту, которая либо принимает предложение сватающегося жениха - и тогда на этом выбор заканчивается, либо отвергает его - и тогда он безвозвратно потерян для невесты).

Рассмотрим одно естественное правило выбора: не останавливаться на том предмете, который хуже какого-нибудь уже ранее осмотренного предмета. Будем считать, что наблюдатель руководствуется этим правилом, так что при последовательном осмотре имеющихся предметов он может сразу выбрать первый из них (и на этом процесс выбора закончится); если он этого не сделал, то он продолжает осмотр до тех пор, пока на каком-то шаге не окажется предмет, который будет лучше всех осмотренных ранее; наблюдатель может выбрать этот наилучший среди осмотренных предметов (и на этом процесс выбора закончится), а может продолжить осмотр в надежде найти еще лучше, и т. д.

Конечно, при этом не исключено, что на самом деле будет отвергнут абсолютно наилучший предмет, и тогда вообще ничего не будет выбрано. Но если число имеющихся предметов велико, то едва ли кто-нибудь согласится взять первый попавшийся предмет, не испытав счастья найти что-нибудь получше.

Предположим, что, следуя описанному правилу, наблюдатель сделал выбор, остановившись на k-м осмотренном предмете, т. е. последний из k осмотренных предметов оказался лучше всех предшествующих и на него-то и пал выбор. Какова вероятность того, что этот выбранный предмет является наилучшим среди всей совокупности как осмотренных, так и еще не осмотренных предметов?

Обозначим В событие, состоящее в том, что среди k осмотренных предметов последний оказался наилучшим. Наблюдателю известно о том, что событие В произошло. Обозначим A событие, состоящее в том, что k-й по счету предмет является 8 наилучшим среди всех имеющихся предметов. Вопрос касается условной вероятности Р (A|В) события A при условии наступления события В. Эта условная вероятность Р (А|В) находится по формуле (3.0), так что для ответа на поставленный вопрос нужно найти вероятности событий В и АВ. Очевидно, событие А содержится в В и пересечение АВ совпадает с самим событием A. Описанные условия выбора таковы, что следует считать все возможные расположения предметов равновероятными. Вероятность события В совпадает с вероятностью того, что при случайной перестановке k отличимых друг от друга элементов (они отличаются по качеству) на фиксированном k-м месте окажется наилучший из этих k элементов. Такая вероятность равна ^{(k - 1)!}/_k! где k! - число перестановок из k, (k-1)! - число перестановок из k-1 элементов, совместимых с тем условием, что на k-м месте зафиксирован наилучший элемент. Итак,

Совершенно аналогично находится вероятность события A, которая совпадает с вероятностью того, что при случайной перестановке m отличимых друг от друга элементов на фиксированном k-м месте окажется вполне определенный элемент - наилучший предмет из всей имеющейся совокупности m предметов. Таким образом,

и искомая условная вероятность есть

Задача о разорении игрока. Рассмотрим игру в так называемую "орлянку", когда игрок выбирает "герб" или "решетку", после чего бросается монета. Если выпадает та сторона монеты, которая была названа игроком, то он выигрывает, получая, скажем 1 руб.; в противном случае он столько же проигрывает. Предположим, что начальный капитал игрока составляет х рублей и игрок ставит себе целью довести его до некоторой суммы в а рублей. Игра продолжается до тех пор, пока либо игрок наберет заранее определенную сумму а, либо разорится, проиграв весь имеющийся у него капитал. Какова вероятность того, что в конце концов игрок разорится, так и не набрав желаемую сумму а рублей?

Ясно, что эта вероятность зависит от начального капитала х и конечной суммы а. Обозначим p (х) вероятность того, что, имея х рублей, игрок все-таки разорится. Тогда вероятность разорения при условии выигрыша на первом шаге в наших обозначениях будет р (х + 1), так как после выигрыша капитал игрока станет равным х + 1. Аналогично вероятность разорения при условии проигрыша на первом шаге равна р (х - 1), так как после проигрыша капитал игрока станет равным х - 1.

Обозначим В₁ событие, заключающееся в том, что игрок выиграл на первом шаге, B₂ - событие, заключающееся в том, что он проиграл. Условные вероятности разорения - события А - в принятых нами обозначениях суть

События В₁ и В₂ образуют полную систему, так как на первом шаге игрок либо выигрывает, либо проигрывает. Очевидно,

Формула полной вероятности дает следующее уравнение для вероятностей р(х):

1≤x≤a-1,

причем

Решением этого уравнения является линейная функция

коэффициенты которой должны быть определены из указанных граничных условий. Имеем

откуда получаем окончательное выражение для искомой вероятности разорения р (х) при начальном капитале х:

2. Рассмотрим два независимых друг от друга опыта. Понятно, что это значит: никакой исход одного опыта никак не влияет на исходы другого; Рассмотрим какие-либо событие А₁ (связанное только с первым опытом) и событие A₂ (связанное только со вторым опытом). Наступление события А₁ никак не влияет на возможность осуществления A₂ и, наоборот, событие A₂ никак не влияет на А₁. В этом смысле можно сказать, что события А₁ и A₂ независимы друг от друга. Какова вероятность совместного осуществления этих событий?

Для того чтобы ответить на этот вопрос, обратимся к эмпирически установленному факту, согласно которому частота какого-либо события в большой серии независимых испытаний приблизительно совпадает с его вероятностью (см. по этому поводу п. 1 § 1). Мысленно представим себе, что имеется большая серия независимых испытаний, в каждом из которых проводятся оба рассматриваемых опыта. Если число всех испытаний равно n, а n (A₁А₂) - число тех испытаний, которые привели к одновременному наступлению событий А₁ и A₂, то искомая вероятность Р (А₁А₂) может быть вычислена приближенно как

Рассмотрим теперь только те испытания, при которых осуществляется событие A₂. Пусть число таких испытаний есть n (A₂). Имеет место приближенное равенство

При достаточно большом n велико и число n(A₂) тех испытаний, в которых осуществляется событие A₂. Но событие A₂ связано только со вторым опытом, который проводится совершенно независимо от первого опыта и связанного с ним события A₁. В указанной серии из n(A₂) испытаний, завершающихся наступлением события A₂, будем рассматривать результаты первого опыта. Число тех испытаний, которые приводят к наступлению события A₁, равно указанному выше числу n(A₁A₂), так что

Полученные соотношения дают возможность выразить вероятность совместного осуществления независимых событий А₁ и A₂ через вероятности Р (А₁) и Р (A₂) этих событий:

или (после перехода к точному равенству)

Отвлекаясь от физических условий того или иного опыта, в теории вероятностей называют независимыми всякие два события A₁ и A₂, для которых имеет место равенство (3.3).

Это определение независимости событий хорошо согласуется с введенным ранее понятием условной вероятности. Именно, событие А₁ является независимым от события A₂ тогда и только тогда, когда наступление события A₂ никак не влияет на вероятность наступления события А₁, точнее, когда условная вероятность Р (А₁|A₂) события А₁ при условии наступления события A₂ точно такая же, как и безусловная вероятность этого события:

(события А₁ и A₂ здесь можно поменять местами). В самом деле, соотношение

имеет место тогда и только тогда, когда выполнено равенство (3.3).

Пример 1. Рассмотрим следующий опыт. Из карточной колоды, содержащей 36 карт, наугад вытягивается одна карта. Пусть событие А₁ состоит в том, что это "пика", а событие A₂ - что это "дама". Являются ли независимыми эти события?

Едва ли здесь легко дать ответ, основываясь лишь на физической интуиции. Элементарные же подсчеты показывают, что вероятность Р (А₁) вытащить одну из имеющихся в колоде 9 "пиковых" карт есть ⁹/₃₆ = ¹/₄, вероятность Р (A₂) вытащить одну из имеющихся четырех "дам" есть ⁴/₃₆ = ¹/₉, вероятность Р (A₁А₂) вытянуть "даму пик" есть ¹/₃₆, и видно, что Р (A₁A₂) = Р (А₁) Р (А₂). Таким образом, события A₁ и A₂

являются независимыми.

Пример 2. Бросаются две игральные кости. Пусть событие А₁ состоит в том, что нечетная грань выпадает на первой кости, A₂ - нечетная грань выпадает на второй кости и A₃ - сумма выпавших очков является нечетной. Ясно, что исход бросания одной кости никак не влияет на исход бросания другой, так что события А₁ и A₂ независимы друг от друга:

При одном из условий A₂ или А₁ событие A₃ наступает тогда и только тогда, когда на первой или второй кости соответственно выпадает четное число очков, и легко видеть, что

Таким образом, А₁ и A₂, A₂ и A₃, A₃ и A₁ представляют собой пары независимых друг от друга событий. В то же время при условии одновременного наступления событий А₁ и A₂ событие A₃ просто невозможно, так что нельзя считать событие A₃ независимым от совокупности событий А₁ и A₂.

События A_k, k = 1, 2, ..., называются независимыми, если для любой группы событий А_i1, ..., A_in (1𕟄i₁<...<i_n≤k) вероятность их пересечения равна произведению вероятностей отдельных событий:

(3.4)

Предположим, что рассматриваются различные группы независимых событий А₁, A₂, ..., скажем,

(каждое из событий входит лишь в одну из рассматриваемых групп); тогда события В₁, В₂, ..., где В₁ является какой-либо комбинацией событий из первой группы, В₂ - комбинацией событий из второй группы и т. д., также являются независимыми.

3. Как можно количественно оценить ту или иную информацию?

Если речь идет об информации, которая заключена в том или ином письменном тексте, то при самом грубом подходе предположительно можно измерить ее длиной самого текста. При этом, конечно, нужно выбрать какой-то подходящий способ записи, какое-то подходящее правило кодирования информации.

Пусть имеется N каких-либо объектов. Для их обозначения воспользуемся так называемым двоичным кодом, сопоставив каждому объекту соответствующую кодовую комбинацию вида (а₁, ..., a_d), где символы a_k принимают одно из двух возможных значений 0 или 1 и длина d всех кодовых комбинаций одна и та же. Всего имеется 2^d различных кодовых комбинаций такого типа. Следовательно, чтобы различать N объектов, нужно выбрать длину d кодовой комбинации так, чтобы N≤2^d. Наименьшее d, при котором это возможно, есть натуральное число, удовлетворяющее соотношению

Видно, что величина

характеризует длину наиболее экономных кодовых комбинаций, при помощи которых можно описать N различных объектов.

Предположим, что рассматривается некоторый опыт, результатом которого может быть одно из N, равновероятных и непересекающихся между собой событий А₁, ..., A_N. Как количественно оценить ту информацию, которая заключена в сообщении об исходе A_i такого опыта?

В теории вероятностей эта информация оценивается указанной выше величиной

Пусть рассматриваемые события А₁, ..., A_N имеют различные вероятности

Ясно, что сообщение о наступлении маловероятного события несет в себе больше информации, чем сообщение о наступлении события, которое ожидается с большой вероятностью. В частности, сообщение о наступлении достоверного события фактически не несет никакой информации (и без этого сообщения известно, что достоверное событие обязательно произойдет).

Предположим, что проводится серия независимых и одинаковых испытаний, в каждом из которых наступает одно из рассматриваемых событий А₁, ..., A_N. Сообщение об исходе n испытаний можно условно записать в виде последовательности (A_i1, A_i2, ..., A_in), где A_ik - то событие из A₁, ..., A_N, которое имело место при k-м испытании. Согласно тому, что частота события А в большой серии испытаний практически совпадает с его вероятностью Р (A), в сообщении (A_i1, A_i2, ..., A_in) событие А₁ приблизительно встречается n₁˜p₁n раз, событие A₂ приблизительно встречается n₂˜p₂n раз и т. д., событие A_N встречается приблизительно n_N˜p_Nn раз. Только такие исходы и рассматриваются ниже.

Число всех исходов, в которых событие А₁ наступает ровно n₁ раз, событие A₂ ровно n₂ раз и т. д., событие A_N наступает ровно n_N раз (n₁ + n₂ + ... + n_N = n) по формуле (1.7) есть

Вероятность каждого из описанных исходов есть

Используя формулу Стирлинга при n→∞ и n₁˜p₁n, n₂˜p₂n, ..., n_N˜p_Nn имеем

Итак, рассматриваемые исходы (A_i1, A_i2, ..., A_iN) приблизительно равновероятны, а число их N_n таково, что

Если для обозначения этих исходов (A_i1, A_i2, ..., A_iN) в серии из n испытаний воспользоваться двоичным кодом, то длина наиболее экономной кодовой комбинации будет приблизительно В среднем на каждое из n испытаний это составит

В теории вероятностей определяемая формулой (3.5) величина I принята за количество информации, которую в среднем несет сообщение о наступлении одного из событий А₁, ..., A_N в каждом отдельном опыте. Для равновероятных событий эта величина есть I = log₂ N.

Было получено экспериментальное подтверждение формулы (3.5) для количества информации. Например, в ряде опытов обнаружено, что передача информации в живом организме происходит таким образом, что затрачиваемое на это время пропорционально количеству информации, вычисляемому по формуле (3.5).

Примером подобного рода может служить один из простейших опытов по определению среднего времени психических реакций. Опыт заключается в том, что перед испытуемым человеком зажигается одна из N лампочек, которую он должен указать. Проводится большая серия испытаний, в которых каждая лампочка зажигается с определенной вероятностью р_i. Оказывается^*, среднее время, необходимое для правильного ответа испытуемого, пропорционально именно величине (а не числу лампочек N, как можно было бы подумать).

^* (См. А. М. Яглом и И. М. Яглом, Вероятность и информация, изд. 2-е, М., 1960.)

Вообще количество информации о событиях А₁, A₂, ..., которое несет сообщение о наступлении события из В₁, B₂, ..., определяется формулой

(3.6)

(здесь А₁, A₂, ... и В₁, В₂, ... - некоторые полные системы непересекающихся событий).

Пример. Предположим, что в некотором пункте за весенне-летний сезон примерно в одном из пяти случаев бывает дождь, в остальных случаях - ясная погода. Допустим, что накануне дается прогноз погоды. Естественно, этот прогноз может оказаться ошибочным. Предположим, что прогноз дождя бывает ошибочным приблизительно в половине всех случаев (правильно предсказать маловероятное событие - дождь - весьма трудно), а прогноз ясной погоды действует точнее и оказывается ошибочным лишь в одном случае из десяти. Каково количество информации, которое в среднем несет в себе прогноз погоды?

Введем следующие обозначения: А₁ - дождь, А₂ - ясная погода, В₁ - прогноз дождя, B₂ - прогноз ясной погоды. Следует положить

Из формулы полной вероятности

находим, что

и

откуда, согласно формуле (3.6),

Насколько больше информации несет абсолютно безошибочный прогноз?

В случае безошибочного прогноза следует положить В₁ = А₁, В₂ = А₂, и тогда