4.7. Об экспертизе вообще (с позиций методологии наук точных и гуманитарных)

Среди особенностей современного этапа развития науки и техники в первую очередь отмечают процесс математизации (включая развитие ЭВМ). Математика наступает повсюду, вторгается во все области человеческих знаний и практики. Перечень традиционных областей применения математики (физика, химия, механика, техника) дополнен ныне экономикой, социологией, биологией, медициной, криминалистикой, психологией, лингвистикой и т. д. Надо полагать, что рано или поздно в этот перечень попадут и другие области знаний, где пока не пользуются математикой.

Как уже убедился читатель, спорт тоже не миновала математическая экспансия.

Чем же характерны математические методы, проникающие и в гуманитарные науки, и в спорт? В первую очередь четкой постановкой задачи, стремлением к точному определению используемых понятий, формализованным (логически верным) характером рассуждений, использованием математического аппарата, количественными оценками исследуемых явлений. В отличие от этого в гуманитарных науках широко практикуется описательный способ рассуждений, использование терминологии, не всегда точно определенной, полемика, апелляция к здравому смыслу, к чувству, к аналогиям.

Проникновение математики в новые сферы сопровождается процессом противоположного направления. Занимаясь изучением социологических проблем, конкретными жизненными ситуациями, обработкой информации, экономическими решениями, выбором разумных решений в условиях неопределенности и прочими проблемами, математика впитывает в себя методы наук гуманитарных. Некогда четкие разделительные линии между этими науками расплываются все больше.

"В самом деле, спросим себя: откуда взялась и чем обусловлена разница между методологиями точных и гуманитарных наук? Почему формальный математический аппарат очень рано стал применяться в сфере точных наук и только совсем недавно (и то на правах подсобного) в гуманитарных? Уж не потому ли, что люди, занимавшиеся гуманитарными науками, были, что ли, "глупее" занимавшихся точными? Отнюдь нет! Просто явления, составляющие предмет гуманитарных наук, неизмеримо сложнее тех, которыми занимаются точные. Они гораздо труднее (если вообще) поддаются формализации. Для каждого из такого рода явлений гораздо шире спектр причин, от которых оно зависит. Вербальный (описательный) способ построения исследования, как это ни парадоксально, здесь оказывается точнее формально логического. И все же в ряде случаев мы иной раз просто вынуждены строить и здесь математические модели. Если не точные, то приближенные. Если не для однозначного ответа на поставленный вопрос, то для ориентировки в явлении"^*.

^* (И. Грекова. Методологические особенности прикладной математики на современном этапе ее развития.- Вопросы философии, 1976, № 6, с. 107.)

В практических задачах то и дело возникает необходимость согласования различных точек зрения, получения решения, удовлетворяющего различным, подчас противоречивым требованиям - критериям. Так, например, при организации работы производственного объединения руководство стремится максимизировать объем продукции, прибыль по возможности увеличить, общие расходы сделать возможно меньшими. При проектировании системы противовоздушной обороны естественными являются требования наибольшей ее эффективности при наименьших затратах.

При исследовании подобного рода так называемых многокритериальных задач приходится согласовывать различные требования, искать разумный компромисс. Естественно, что математика располагает некоторыми методами, приспособленными для поиска компромиссных решений в многокритериальных задачах. Однако эти методы далеки от совершенства.

"Пока что практически единственной инстанцией, способной быстро и успешно вырабатывать компромиссное решение, является человеческий разум, так называемый "здравый смысл". Человек до сей поры - непревзойденный мастер компромисса, и без его участия решение в многокритериальной задаче (не оптимальное, может быть, ни по одному критерию, но приемлемое по их совокупности) пока что выбрано быть не может. Математика в ее современном виде может оперировать только понятиями "больше", "меньше", "равно", но не понятиями "приемлемо", "практически равноценно" и т. п., характерными для человеческого мышления. По-видимому, не всякое "лучше - хуже" может быть сведено к "больше - меньше" (или, если может, то мы не знаем, как это делается). Принимая решение, человек, не вдаваясь в излишние подробности, окидывает общим взглядом ситуацию в целом и выбирает приемлемый вариант. Что касается математики, то ее дело в подобных случаях - не выдать окончательное решение, а помочь человеку его выбрать. Дать человеку, принимающему решение, максимум нужной ему информации в выразительной, удобовоспринимаемой форме, показать, к каким последствиям приведет (по ряду критериев) каждый из возможных вариантов решения, предварительно отбросив все неконкурентоспособные"^*.

^* (И. Грекова. Методологические особенности прикладной математики на современном этапе ее развития.- Вопросы философии, 1976, № 6, с. 107.)

Деятельность тренеров в условиях противоборства их команд дает нам яркие примеры поиска компромиссных решений, с учетом опыта, интуиции и т. д.

По всей видимости и дальнейшее совершенствование научных методов в гуманитарных науках пойдет по пути использования математики, органически переплетенной с неформальными процедурами: непревзойденными особенностями человеческого разума, интуиции, опыта, подкрепленными все расширяющимися возможностями ЭВМ.

Математика является основой формальных методов исследования ситуации. Здравый смысл, накопленный опыт - основа формальных методов, оперирующих не с формальными, скажем, с числовыми данными, а с качественными характеристиками типа "красивее", "сложнее", "проще", "комфортнее" и т. п. Именно с подобными характеристиками приходится зачастую иметь дело при судействе в различного вида спортивных соревнованиях.

Человечеству издавна известен веками проверенный способ объединения формальных и неформальных начал в единой процедуре. Способ этот - экспертиза. Экспертные оценки дают естественную возможность использовать накопленный общечеловеческий опыт, социальную память человечества в больших (управление социальными, экономическими процессами) и малых (судейство в спорте) задачах.

Мы уже познакомились с некоторыми конкретными процедурами в организации экспертиз. Практикуются и другие процедуры - более простые и более сложные. В одних случаях основой экспертизы является дискуссия, в других она полностью исключается. Хорошо известны врачебные консилиумы, в процессе которых врачи-эксперты обсуждают все доводы за и против постановки определенного диагноза. Решение (как правило, согласованное) возникает в итоге дискуссии. В иной манере проходил "консилиум" под руководством фельдмаршала Кутузова в Филях, описанный Л. Н. Толстым в романе "Война и мир". Каждый из участвующих в совете генералов высказал свою оценку ситуации и свои предложения. Выслушав мнение всех генералов, Кутузов сам принял решение: "Быть по сему".

Во многих случаях организация экспертных процедур определяется традицией, самим объектом экспертизы, возможностями обработки полученной информации, используемыми математическими методами. По-видимому, древнейшим органом по созданию коллективного решения являлся совет старейшин племени; он принимал решения по всем важным для племени вопросам.

В очень далекие времена возникла и ныне широко функционирует процедура дегустации. Оценке подвергается качество различных сортов вин, сыров, джемов и других продуктов; устанавливается степень соответствия их свойств определенным нормам. Подобно процессу судейства, процесс дегустации должен завершаться выдачей некоторого заключения. А заключение - результат согласованного решения.

При многократном повторении экспертиз возникает побочная (по отношению к выработке согласованного решения) возможность оценки достоинств самих экспертов. Эксперту оказывается возможным приписать определенный "вес", подобно тому, как это сделано (см. п. 4.5) при выработке объективной оценки выступления фигуриста. Эксперту можно, например, приписать вес тем больший, чем меньше (в среднем) его заключение отклоняется от коллективного среднего. Тем самым в процесс экспертизы удается внести элемент "обратной связи", способствующий самообучению экспертов, своеобразной "настройки" всей экспертной комиссии на заключения по определенному кругу вопросов.

Меру согласованности мнений экспертов можно оценивать, исходя из различных принципов. Кроме уже известного нам принципа большинства и его модификаций, можно использовать и другие. В ряде случаев за меру согласованности принимают величину среднеквадратического отклонения (дисперсию) числовых оценок экспертов от средней оценки (определение дисперсии см. п. 5.1). Чем дисперсия меньше, тем более согласованы мнения экспертов; чем она больше, тем больший разброс во мнениях и экспертиза менее качественная.

Для решения политических, экономических, социальных, военных и прочих проблем разработаны новые методы. Среди них широко известным в США стал метод "Дельфы". (По преданию в древней Греции в городе Дельфы обитал знаменитый оракул, вещавший будущее, отвечавший на сложные, запутанные вопросы.)

Следуя Н. Н. Моисееву [4], остановимся на особенностях метода "Дельфы". Метод разработан сотрудниками "Рендкорпорейшен" - одного из так называемых "мозговых центров" США - в середине 50-х годов. Метод ориентирован на составление различного рода прогнозов, на оценку вероятности осуществления того или иного события. Используемые при этом способы обработки получаемой информации не новы.

Однако процедура работы с экспертами хорошо отработана и регламентируется рядом положений, простейшие из которых следующие:

1. Экспертами могут быть только признанные специалисты в соответствующей области.
2. Так как каждый эксперт может ошибаться, то только мнения достаточно большого числа экспертов могут удовлетворительно охарактеризовать исследуемый вопрос.
3. Вопросы, которые ставятся экспертам, должны быть относительно просты и поставлены настолько четко, чтобы исключить возможность неоднозначного толкования.
4. Для руководства экспертизами должны быть созданы постоянно действующие группы организаторов, ибо только хорошо продуманная система вопросов (для разработки которой необходимы квалифицированные специалисты) может оказаться успешной в относительно сложной экспертизе.

Метод "Дельфы" полностью запрещает открытую дискуссию экспертов, чем практически исключает влияние психологических и эмоциональных факторов, неизбежно возникающих в процессе дискуссии. Метод предусматривает определенную процедуру запросов, получения и анализа экспертами всякого рода дополнительной информации, в том числе мнений других экспертов. Предусмотрена организация повторных экспертиз, постановка дополнительных вопросов; регламентировано поведение лиц, организующих экспертизу, с тем, чтобы исключить даже косвенное влияние их на мнения экспертов.

Все эти мероприятия имеют цель в конечном счете сблизить мнения экспертов. Если же в результате серии повторных опросов в отношении проблемы (содержащей в своей постановке неопределенность или не имевшей прецедентов) мнения экспертов в должной мере не сближаются, то проблема считается неразрешимой при современном уровне знаний.

В качестве меры согласованности мнений экспертов принимается величина среднеквадратического отклонения, называемого также "квартилем". Величина квартиля задается заранее - до проведения экспертизы. Если в результате экспертизы найденная величина квартиля оказывается больше заданной априорно, то организуется повторный тур экспертизы, которому предшествует работа экспертов с дополнительной информацией.

Методом "Дельфы" решались многочисленные военные проблемы, а также составлялись прогнозы вероятного состояния мира на 1984, 2000 и 2100 гг. Так, например, в отношении 1984 г. эксперты предсказали, что население Земли составит 3,4 млрд. человек^*; опреснение воды войдет в обиход сельского хозяйства; на Луне будет создана стационарная база; в результате эффективного контроля произойдет дальнейшее снижение темпов рождаемости и т. п.

^* (По данным комиссии по народонаселению ООН в 1934 г. население Земли составило 4,8 млрд., а к началу следующего века на Земле будет жить, согласно прогнозу комиссии, 6,1 млрд. человек.)

Идейной основой метода экспертных оценок служит гипотеза: коллективное мнение предпочтительнее индивидуального. И хотя в большинстве случаев это так, истории известны ситуации, в которых эта гипотеза оказывалась ошибочной. Достаточно вспомнить о судьбах многих величайших открытий (система Коперника), об участи людей, защищавших нетрадиционную точку зрения (Джордано Бруно, Галилео Галилея).

В области совершенствования методологии и организации экспертиз ведется работа за рубежом и в нашей стране. Один из новых подходов к организации экспертиз предложен в 1960 г. Г. С. Поспеловым. Метод был использован в решении проблемы планирования средств на фундаментальные исследования в области естественных наук. Идея метода состоит в последовательном разбиении проблем на более простые, в проведении экспертиз по каждой частной проблеме, обработке полученной информации, разбиении уже проанализированных проблем на более частные и т. д.

Описание этой системы комбинированных экспертиз, а также методов, предложенных В. М. Глушковым и Ю. И. Журавлевым, лежит за рамками этого издания, и мы отсылаем читателя, например, к [4; 29].