Экономический прогноз: ЭВМ + Эксперт (E. А. Богоявленский, кандидат экономических наук. Д. Б. Богоявленская, кандидат психологических наук)

Экономический прогноз: ЭВМ + Эксперт

Прогноз - это прежде всего число, точнее, ряд чисел, уходящих порой на многие годы в будущее. Числовое выражение придает прогнозу убедительность, ибо что может быть объективнее математической формулы! 2000 год предстает перед нами в виде четкой эконо-метрической модели, в которой аггрегируются частные прогнозы по главным научным и техническим направлениям, отраслям производства, социально-экономическим процессам. Впечатление достоверности усиливается еще больше, когда узнаешь, что варианты модели "проработаны" на ЭВМ, которой чужды сомнения и другие "человеческие слабости".

Эта убежденность в непогрешимости математического, эконометрического подхода к так называемому технологическому прогнозированию¹ утвердилось еще в 60-х годах, вместе с утверждением всемогущества ЭВМ, линейного программирования и прогнозирования, экстраполяционных и корреляционных методов, эконометри-ческих моделей и т. д. Не будет преувеличением сказать, что внедрение точных математических методов и процедур в экономические исследования породило современный экономический прогноз, который стал важнейшей предпосылкой социалистического планирования, научно обоснованного принятия решений, рассчитанных на большую перспективу.

¹ (Термин этот получил широкое распространение на Западе и в некоторых случаях используется также в советской литературе, хотя имеет, на наш взгляд, достаточно узкий смысл. Дж. Мартино дает следующее определение: "Технологический прогноз представляет собой предсказание будущих характеристик полезных машин, процедур или методов работы" (Дж. Мартино. Технологическое прогнозирование. М., "Прогресс", 1977, с. 8).)

Математизация придала реальную экономическую значимость даже таким видам прогностической деятельности, которые раньше осуществлялись либо в узковедомственных интересах (например, метеослужба гражданской авиации), либо в порядке эксперимента и футурологических эссе. Вместе с тем успехи математизации поучительны и в ином плане. Рассмотрим это на примере прогнозирования погоды. Напомним, что даже небольшое повышение точности погодного прогноза, особенно долгосрочного - не на завтра, а на неделю, месяц, на целый сезон (особенно весенне-летний и осенний - сезон уборки и заготовки сельскохозяйственной продукции), означает экономический эффект в сотни миллионов и даже миллиарды рублей в год. "Человеку ничего не оставалось бы требовать от бога, если бы он научился правильно предсказывать погоду",- писал М. В. Ломоносов.

Долгосрочный прогноз - предсказание резких и долговременных отклонений погоды от климатической нормы - проблема исключительной важности для народного хозяйства; "проблема века", как назвал ее вице-президент СО АН СССР академик Г. И. Марчук. В решениях XXV съезда КПСС о ней сказано лаконично: "Осуществлять дальнейшую разработку методов прогноза погоды и стихийных бедствий". Но за этой лаконичной строкой - огромная теоретическая работа многих научных коллективов, взаимодействие самых различных отраслей науки и техники.

Впервые математический расчет погоды "на завтра" был осуществлен в 20-х годах в Англии и потребовал всего... полгода! Причину неудачи начали искать в методологии расчетов - в попытке охватить системой уравнений всю сумму погодных факторов, даже "несущественных". Козьма Прутков сказал бы, наверное, по этому поводу, объединив оба своих знаменитых афоризма в один: "Зри в корень, ибо нельзя объять необъятного". Наоборот, один из первых организаторов советской метеослужбы профессор Хромов как-то в споре, доказывая существенность всех взаимодействующих факторов, шутливо заметил: "Я вот выйду на крыльцо, махну рукой, и погодный "баланс" изменится".

Другие критики английского эксперимента искали ошибки математического порядка. Что же, такие ошибки не удивительны, поскольку тогда не существовало ни теории подобных расчетов, ни надежного исполнительного звена - вычислительной машины. Появились ЭВМ, родились гидродинамические методы расчетов. Специалисты считают, что машины уже вполне хорошо справляются с краткосрочным прогнозом, хотя для него приходится собирать данные с шести атмосферных уровней на территории 100 млн. км (это при прогнозе на завтра) и во всем Северном полушарии при прогнозе на трое суток.

В последнем случае в машину вводится около 25 тыс. исходных данных, то есть почти на порядок больше,, чем в английской модели 20-х годов, а на решение уравнений с этими данными требуется уже не полгода, а всего несколько часов машинного времени. Более того, машина сама печатает готовую карту погоды. Готовую? Но над чем тогда так усердно "колдуют" синоптики? Они размышляют над машинной заготовкой, редактируют выданную машиной карту, поскольку численные методы, к сожалению, не обеспечивают пока достаточно точного расчета развития процессов в самом нижнем из шести атмосферных слоев. Законы этого развития намного сложнее, чем в верхних слоях. Здесь-то как раз и требуется вмешательство настоящего эксперта-прогнозиста. Да, "боги погоды" остаются богами даже рядом о Всемогущим ЭВМ.

Рассмотренная область прогностической деятельности наиболее яркий пример, когда точный математический расчет кажется единственным надежным путем решения проблемы прогноза, избавляющим от вольностей прогностической мысли. Мы убедились, что это не так. Но, может быть, в других областях, где процессы не так изменчивы, численные методы могут исключить прогностическое творчество человека? Скажем, прогнозирование развития какой-либо отрасли промышленности или даже отдельных видов техники? Ведь тенденции этого развития вырисовываются (в отличие от капризов погоды и климата) в виде четкой закономерности. Казалось бы, остается лишь формализовать эту закономерность и экстраполировать ее на будущее.

Действительно, метод экстраполяции тенденций развития во многих случаях себя уже оправдал и получил широкое распространение в экономическом прогнозировании. Однако тенденция формируется всегда в определенных условиях, взаимодействуя с самыми различными внешними факторами, которые в будущем могут и измениться. Это неизбежно случается, когда эволюционное развитие сменяется революционным. Так, многие тупиковые прогнозы, сделанные в прошлом методом изолированной экстраполяции тенденций развития того или иного технического параметра, оказались опровергнутыми современной научно-технической революцией. В 30-х годах, например, такой тупиковый прогноз был сделан в отношении роста скоростей полета самолетов. Прогнозисты-авиационники совершенно правильно рассчитали, что дальнейшее увеличение скоростей поршневых самолетов будет невозможно в связи с невозможностью увеличения мощности двигателей без одновременного усложнения их конструкции и увеличения веса до неразумных масштабов. Но наступил век реактивной авиации, и невозможное стало возможным.

В отраслевом прогнозировании методы экстраполяции также часто приводят к большим просчетам. Напомним, что исторически наиболее достоверной считается экстраполяция с применением регрессионного анализа: прогнозист берет данные о развитии рассматриваемой отрасли за ряд предшествующих лет и находит регрессию логарифмов на время, что, как известно, эквивалентно экспоненциальному росту данной функциональной характеристики. Прогноз будет просто продолжением линейной регрессии логарифмов на время на такой период будущей развития, какой требуется в прогнозе.

Концепция экспоненциального развития техники за родилась еще в прошлом веке и не раз опровергалась в ходе технико-экономического прогресса в разных стра нах, особенно с началом НТР. Тем более удивительна живучесть этой концепции; невольными пропагандиста ми ее выступают даже те западные авторы, которые пони мают всю теоретическую необоснованность подобной формально-математического подхода к прогнозированию¹. В качестве примера приведем составленные Дж. Мартино прогноз производства электроэнергии США до 1985 г.² (см. таблицу).

¹ (См., например, упомянутую книгу Дж. Мартино.)

² (См., например, упомянутую книгу Дж. Мартино. с. 159.)

Производство электроэнергии в США (млрд. квт*ч)

^* (Экономическое положение капиталистических и развивающихся стран. Приложение к журналу "Мировая экономика и международные отношения". 1977. № 8. с. 22.)

^** ("Electrical World". 1975. 15 Nov., p. 46)

Мартино с удовлетворением отмечает, что почти половина (14 из 22) "точечных" данных о действительном производстве электроэнергии в 1945-1966 гг. находится внутри 50-процентного вероятностного интервала. "Разумно предположить, - пишет он, - что так будет и в будущем. Расстояние между 50-процентными пределами в 1985 г. 657,11 млрд. кВт*ч¹ составляет около 9% значения прогноза за этот год. Это указывает на достаточную точность прогноза. Исключая некоторые случаи радикальных изменений в спросе на электроэнергию, прогноз может применяться со значительной уверенностью"². Автора не смущает, что более половины точечных данных выходит за пределы указанной 50-процентной вероятности. Более того, прогноз на 1985 г., скорректированный в 1975 г., отличается от прогноза Мартино столь существенно (отклонение почти на полтора миллиарда кВт*ч, или на 40%!). чт0 делает его практически бесполезным, равнозначным по своей информативности утверждению: "Рост, несомненно, будет, но в каких размерах - неизвестно". Дело в том, что ошибка в 1,5 млрд. эквивалентна экономически неоправданному вводу в эксплуатацию такого числа электростанций, энергетические мощности которых намного превосходят суммарную мощность американских электростанций в 1967 г., когда составлялся прогноз, а уровень производства электроэнергии, предсказанный (точно рассчитанный!) Джозефом Мартино на 1985 г.- 4912,49 млрд. кВт*ч, ожидается теперь лишь где-то в 90-х годах.

¹ (Цифра, видимо, ошибочная; в действительности разница между нижним и верхним пределами составляет 452,94 млрд. кВт*ч.)

² (Цифра, видимо, ошибочная; в действительности разница между нижним и верхним пределами составляет 452,94 млрд. кВт*ч. С. 159.)

Таким образом, не достигается главная цель прогноза - сориентировать предпринимателей на оптимальный темп роста капиталовложений в строительство новых энергетических мощностей. Единственное преимущество применяемого в данном случае метода экстраполяции заключается лишь в том, что он доступен даже математику самой низкой квалификации и не требует (как прогноз погоды) быстродействующих ЭВМ для своей реализации. Недостатки чисто математических методов прогнозирования заставляют специалистов по "технологическому" прогнозу признать незаменимость экспертных оценок¹. Однако это ставит перед организаторами прогноза достаточно сложную проблему качества этих оценок.

¹ (См.: Э. Янч. Прогнозирование научно-технического прогресса. М., "Прогресс", 1974.)

Проблемы, возникающие при использовании экспертных оценок для разного рода количественных прогнозов, связаны в первую очередь с определением "качества первоисточника", т. е. самого эксперта. Именно в этой связи ставится вопрос о том, в какой степени сохраняется объективность исследования, если в него вводятся в качестве существенных факторов субъективные мнения тех или иных специалистов, даже если они являются и экспертами в своей области. Уже в такой постановке вопроса содержится методологическая неточность. Она заключается в неправомерности подчеркнутого выше противопоставления: нельзя отказывать "субъективному мнению" в возможности содержать объективную истину (пусть даже потенциальную); научное предвидение может быть и "субъективным", т. е. индивидуально сформулированным, продуктом индивидуальной исследовательской, познавательной деятельности человека. Указанное выше противопоставление, с одной стороны, приводит к появлению чисто практических трудностей адаптации "субъективного мнения" к требованиям "объективного исследования", с другой - само является отражением изначальных трудностей экепертирования в целях количественного прогноза.

Указанная неточность - проявление недооценки возможностей человека познавать объективный мир и отражать его в своих оценках. Признание этой возможности зачастую выражается в крайней форме, когда человек представляется как некий физический прибор.

Наиболее ярко этот подход выражен в тезисе, выдвинутом еще в 1963 г. сотрудником американской корпорации РЭНД О. Хелмером: "Мы получаем информацию о происходящих событиях при помощи различных приборов, иногда неточных. Мы не отказываемся от этой информации, учитывая лишь степень ее точности и достоверности. Специалиста-эксперта тоже можно рассматривать как своего рода "прибор", дающий нам информацию о вероятности тех или иных предстоящих событий или гипотез, объясняющих происходящие события. Отказываться от такой информации не следует. Следует лишь постараться определить степень точности и достоверности этой информации, подобно тому, как это делается для других измерительных приборов"¹.

¹ (С. Д. Бешелеви, С. Г. Гурвич. Экспертные оценки. М., "Наука", 1973.)

Этот тезис Хелмера можно рассматривать как определенный шаг вперед, поскольку за человеком признается роль объективного источника информации. Однако этот теоретический постулат на практике упирается в проблему отбора экспертов, действительно способных на объективные суждения о будущем. Вместо такого отбора уровень объективности пытаются повысить чисто статистическими методами. Степень объективности экспертов оценивается по аналогии с оценкой точности приборов. Но если неточность прибора действительно можно скорректировать, вводя установленный при проверках поправочный коэффициент, то механический перенос этого приема на человека представляется совершенно бесполезным. Столь же бесполезны попытки осуществлять своего рода "приборную наладку" эксперта путем тренировки и специального обучения, поскольку способность предвидеть - сугубо индивидуальное свойство, которое не может появиться у психически сложившегося, сформировавшегося человека даже при самой упорной тренировке.

Методы "приборной" проверки выглядят следующим образом: достоверность оценок эксперта ("степень надежности" эксперта - degree of reliability) определяется по результатам его прошлой деятельности по формуле R = ^N_c/_N, где N_c - число случаев, в которых эксперт, встретившись с несколькими альтернативными гипотезами, приписал наибольшую вероятность той, которая впоследствии оказалась верной; N - общее число экспертных оценок.

Однако формула эта явно не работает. Во-первых, практически не существует возможности применять ее в случаях отбора экспертов для долгосрочного прогнозирования (как говорят англичане "life is but a span" - эксперт рискует не дождаться подтверждения через 10-15-20 лет истинности своего прогноза). Во-вторых, даже при самых краткосрочных прогнозах, как признают сами авторы этой и прочих формул, оценка "надежности" эксперта может быть в высшей степени ненадежной хотя бы потому, что отражаемая в числителе "успешность" зависит от большого числа переменных (например, от степени точности и широты требуемых от эксперта формулировок, от информационной обеспеченности прогноза и т. п.). В-третьих, о том, что указанная "абсолютная", как ее называют, мера надежности не является надежной, свидетельствует преимущественное использование другой, "относительной" меры: р' = ^p/_pm, где р - мера надежности данного эксперта; р_m - средняя мера надежности, исчисленная для некоторой группы хорошо информированных людей или других экспертов. При этом считается, что если величина р' < 1, то данный эксперт "не представляет большой ценности"; чем больше p', тем большую ценность представляет эксперт, тем выше достоверность его оценок; очевидно, что такое приравнивание эксперта к хорошо информированным людям" не может служить критерием при отборе прогнозистов; в-четвертых, эксперт как "датчик вероятности" сам становится игрушкой вероятности: степень его надежности, оказывается, зависит от того, каковы вероятности тех событий, для которых он дает оценки. Для событий маловероятных (с вероятностью их наступления, близкой к нулю) или для событий весьма вероятных (с вероятностью, близкой к 1) степень надежности эксперта будет близка к 1. Но для событий, вероятность которых близка к ¹/₂, степень надежности эксперта может оказаться тоже близкой к ¹/₂/

В результате приходится вводить дополнительный показатель-точность оценок эксперта, "степень точности" эксперта, которую определяет... сам же эксперт. Преувеличить субъективность подобной самооценки результатов проделанной работы было бы действительно трудно.

Следует констатировать методологическую несостоятельность "приборной" концепции эксперта-прогнозиста и попыток формировать экспертный массив с учетом степени "надежности" и "точности" экспертов. (В этом отношении представляется куда более плодотворным предпринятое той же корпорацией РЭНД исследование на тему: "Как измерить идиота".) Вместе с тем ничего более совершенного до сих пор не было предложено, и вся работа с "прогнозистами" строится по принципу "один эксперт - не эксперт", т. е. по групповому методу. Существуют следующие методы такого группового экспертирования:

• метод согласования оценок, или "консенсуса", объединяет ряд методов, различающихся способами, с помощью которых индивидуальные оценки преобразуются в обобщенную оценку;
• групповой метод, одним из наиболее оригинальных и продуктивных вариантов которого является "мозговая атака";
• метод "Дельфийского оракула", или, короче, "дель-фи-метод", который можно рассматривать как промежуточный между "индивидуальным", "интуитивным", "консенсусом" и групповым в том смысле, что в группе индивидуально работающих прогнозистов существует система обратной связи между ними в виде поэтапно формулируемых обобщенных оценок;
• метод моделирования, который точнее следовало бы назвать прогнозирующей системой "эксперт-ЭВМ-эксперт" и который может иметь много вариантов - гибридов "консенсуса", группового и дельфийского методов; существенным для него является предоставляемая экспертам возможность экспериментировать с прогностической моделью (чаще всего - математической);
• ситуационный анализ (который иногда называют методом "оперативных игр") - метод группового модельного прогнозирования; проводится чаще всего по заранее подготовленному сценарию политического, социально-экономического развития и может сочетать элементы всех упомянутых выше методов прогнозирования.

Все эти варианты можно обобщенно называть "методом экспертных оценок". Подчеркивается, что он особенно широко применяется для средне- и долгосрочного прогнозирования и объясняется это его "простотой и той степенью достоверности, которая пока еще недостижима при формализованных методах". Вместе с тем разработка экспертных методов оказалась, по существу, уже давно в тупике, в то время как формальные методы множатся, как грибы. В 1966 г. Эрих Янч, положивший начало обобщению зарубежной методологии прогнозирования, перечислил около 100 прогнозных методик, а уже через три года Г. Добров определял их число более чем в 130. В большинстве своем - это экстраполяционные методы, которые рассчитаны на исключение воздействий субъективных факторов. Однако на деле исключить их оказывается весьма трудно.

Действительно, человеческий фактор присутствует даже при прогнозировании методами чисто математической экстраполяции. Во-первых, так или иначе встает вопрос о качестве исходных данных, которые готовит для ЭВМ человек; во-вторых, вопрос о качественных коррективах, изменениях весов или коэффициентов при определении параметров прогнозируемого явления (такое "вмешательство" человека в математический процесс имеет место, например, при экстраполяции по методу определения развития тенденций по кривым). В любом таком случае человека следует рассматривать как эксперта и предъявлять к нему соответствующие требования. В последнем случае "опасность" влияния субъективного фактора окажется значительно меньше опасности просчетов при формально "объективной" механической экстраполяции.

Экспертных оценок требуют все виды нелинейной экстраполяции с использованием системного анализа. Здесь прогнозист является так или иначе автором и "проблем гипотетических систем будущего" и "проблем воздействия" - комплексного влияния новых технических решений на экономику и окружающую среду. Таким образом, вопрос о "надежности" экспертных оценок выходит далеко за рамки собственно метода экспертных оценок.

Следует подчеркнуть и другую сторону использования формализованных методов прогнозирования - явное предпочтение, которое отдается более простым методам, Объясняется это тем, что достоверность полученных результатов не возрастает сколько-нибудь значительно (если возрастает вообще) при переходе к методам более формализованным и сложным. По свидетельству журнала "Менеджемент ревью", наиболее надежными и "полезными" американские корпорации считают лишь восемь прогностических методик, в том числе: "развитие тенденций по кривым" (90% опрошенных высказали положительную оценку), "корреляционный и регрессивный анализ" (89%), "экспертиза существующего уровня техники" (88%), "историко-генетические модели" (87%). "выявление уникальных свойств" (76%), "экспертиза проблем генетических систем будущего" (76%), "опережение-запаздывание" (75%), "определение порогов смены технологии" (71%)¹. При всем том многие фирмы выражают разочарование в практических результатах прогнозирования, практика которого, заметим, насчитывает более полутора десятилетий.

¹ (С. Д. Бешелеви, С. Г. Гурвич. Экспертные оценки. М., "Наука", 1973.)

Как видим, среди перечисленных "наиболее надежных" методов отсутствуют упомянутые выше методы экспертных оценок, хотя этому явно противоречит широкое распространение последних. Так, американские исследователи М. Сетрон и К/ Ральф выявили среди 5900 крупнейших американских концернов 1114, которые широко практикуют различные методы прогнозирования, в том числе экспертного: индивидуальное интуитивное (78% фирм), согласование оценок (69%), "Дельфи" (26%)¹. Эта статистика подводит нас к парадоксальному на первый взгляд выводу: при теоретическом утверждении ничтожности индивидуальной экспертной оценки большинство фирм предпочитает иметь дело с отдельными "квалифицированными" протестами, нежели с групповым внутренне противоречивым прогнозом, требующим к тому же сложной процедуры согласования, итерации и т. п. Вместе с тем вряд ли можно объяснить данный факт большей "управляемостью" и достаточной полнотой и непротиворечивостью прогностической информации, выдаваемой индивидуальным "оракулом" даже высшей квалификации. Скорее наоборот - привлечение отличившихся своими открытиями авторитетов полностью исключает возможность управления качеством прогнозных экспертных оценок².

¹ (С. Д. Бешелеви., С. Г. Гурвич. Экспертные оценки. М., "Наука", 1973.)

² (Мы имеем в виду использование в качестве прогностов крупных ученых, которые уже зарекомендовали себя своим теорческим вкладом в развитие науки. Широко известны многочисленные ошибки, допускающиеся в оценке научных открытий и перспектив их практического применения выдающимися учеными всех веков, начиная с Аристотеля. Классическими стали примеры опровергнутых историей прогнозов практической неприменимости электромагнитных волн (Герц) и атомной энергии (Резерфорд); проблеме консерватизма, присущего самим новаторам в науке, в советской литературе посвящено специальное исследование ("Научное открытие и его восприятие" Сб Под ред. С. Р. Микулинского и М. Г. Ярошевского. M.t "Наука", 1971).)

Чтобы понять причины указанного парадокса, рассмотрим несколько подробнее "мозговую атаку" и "Дельфи-метод" как наиболее "управляемые" формы получения исходной прогностической информации для ЭВМ, поскольку они учитывают психологические факторы в работе с экспертами.

Как известно, "мозговая атака" ("брэйн сторминг") получила признание и распространение в 50-х годах в качестве метода тренировки и мобилизации творческого мышления в группе, решающей ту или иную теоретическую или практическую задачу. Целью "атаки" является создание условий, способствующих появлению и высказыванию максимально большего числа идей, предложений и т. п. При этом исходят из того, что среди потока высказываний будет по меньшей мере несколько плодотворных; однако эта гипотеза, по замечанию Э. Янча, окончательно так и не была доказана. Впрочем, дело не в количестве, а в творческой атмосфере коллективного обсуждения, которым, 'по идее, должен дирижировать, именно дирижировать, опытный психолог, пусть даже стихийный, но хорошо ощущающий каждый "инструмент" управляемого им творческого оркестра и, естественно, в какой-то степени осведомленный в теме. Таким образом, к проблеме подбора "оркестрантов" прибавляется куда более трудная проблема подбора "дирижера". Эта трудность отнюдь не снимается выполнением набора следующих четких правил. 1. Сформулировать проблему в основных терминах, выделив единственный центральный пункт. 2. Не объявлять ложной и не прекращать исследовать любую высказанную идею. 3. Подхватывать идеи любого рода, даже если ее уместность кажется в данное время сомнительной. 4. Оказывать поддержку и поощрение, столь необходимое для того, чтобы освободить участников от скованности.

В процессе мозговой атаки, действительно, можно было бы снять если не все, го хотя бы часть условий, мешающих созданию атмосферы "творческой эйфории",, преодолению психологического барьера собственных концептуальных моделей, того, что обычно называют установившимся мнением, представлением, точкой зрения. Однако сама по себе организация обсуждения, соблюдение имеющихся на сей счет правил и инструкций не гарантирует преодоления этого барьера. Происходит это потому, что автор метода "мозговой атаки" Осборн и его последователи уповали на автоматическое снятие известных им барьеров и не учли, что снимаются они далеко не у всех людей. Действительно, конформизм и здравомыслие какого-нибудь министерского чиновника и даже маститого ученого - барьеры, как правило, непреодолимые. Как говорится, наши недостатки - продолжение наших достоинств.

Таким образом, организационно-психологически хорошо задуманный и сконструированный метод в результате отсутствия адекватного метода подбора экспертов оказался в конечном счете малоэффективным и в 60-х годах из первостепенного источника идей и метода нахождения кратчайшего пути к решениям превратился во вспомогательный прием при анализе и принятии решений. Вместе с тем следует подчеркнуть актуальность дальнейшей разработки метода "мозговой атаки". Главная и наиболее ценная его идея заключается в отсутствии обратной отрицательной корреляции, внешнего контроля чужого здравого смысла, что позволяет сделать коллективный творческий процесс одновременно и непрерывным, и свободным, и управляемым. Главное достоинство этого метода - возможность перехода на другую логику - логику соседа, возможность суммирования экспертных потенциалов всех участников, взаимного межинтеллектуального, междисциплинарного, межотраслевого и т. п. оплодотворения. Но для эффективного использования этого принципа необходим учет влияния устойчивых личностных факторов, интеллектуального консерватизма, который, как правило, сопутствует компетентности, учет внутренней диалектики самого знания. Поэтому психологический отбор участников "мозговой атаки" является главным направлением дальнейшего совершенствования этого метода.

Метод "Дельфи" претендует на преодоление психологических трудностей, свойственных "мозговой атаке", и в первую очередь - конформизма, проявляющегося в процессе коллективного мышления. Поэтому в психологическом плане Янч не совсем прав, когда предлагает рассматривать метод "Дельфи" в упрощенном виде как последовательность итеративных циклов "мозговой атаки". Авторы метода полагали, что благодаря письменной форме контакта снижается влияние таких факторов, как внушение или приспособление к мнению большинства. Как признает Янч, это влияние не может быть полностью устранено, поскольку в процессе итерации на втором и последующих этапах участники узнают мнение большинства на предыдущих этапах. Поэтому конформизм не исключается, но появляется еще и новая трудность: участнику, высказавшему мнение, резко отличающееся от согласованного мнения большинства, предлагают его обосновать У него, естественно, может появиться желание избежать излишнего напряжения и как-то приспособиться.

Здесь вновь выдвигается на первый план проблема управления качеством прогностической информации путем отбора экспертов, и эта проблема не снимается ни путем введения усовершенствованных схем оценки собственной компетентности, ни с помощью улучшенных механизмов обратной связи или статистических моделей процедуры опроса участников. Именно это, а не более высокий уровень затрат главная причина отмеченного выше ограниченного распространения метода "Дельфи" (26% американских фирм, занимающихся прогнозированием) по сравнению с индивидуальной "интуитивной" экспертизой (80%). Вывод, который правильно делают некоторые советские исследователи (например, Э. Л. На-пельбаум), сводится к тому, что коллективное измерение (экспертирование, прогнозирование) - это результат взятой с потолка процедуры. К этому следует прибавить наслоения субъективных факторов, как интеллектуальных (инерция, консерватизм личного опыта), так и (что еще более существенно) личностных, социальных. Когда, скажем, американский менеджер, участвуя в прогнозировании, вольно или невольно прогнозирует свою собственную карьеру в связи с намечающимися изменениями и потому склонен предельно сокращать возможный риск, равно как и проявлять фаворитизм при оценке и отборе идей и проектов. Советские исследователи американской практики экспертного прогнозирования справедливо отмечают, кроме того, что исполнители прогнозов нередко сознательно "корректируют" свои оценки с тем, чтобы выгоднее представить проект руководству; нередко среди прогнозистов, как и во всяком новом деле, встречаются и просто шарлатаны, рассматривающие прогнозирование как источник дохода с немедленной оплатой услуг, но отсроченной ответственностью.

Проблема подбора экспертных прогностических групп не только по "деловым" (квалификация и т. п ), но главным образом по психологическим характеристикам приобретает чрезвычайную актуальность в связи с поставленной ЦК КПСС задачей перехода от среднесрочного - прогнозирования к долгосрочному, диктующему необходимость совершенствования существующих методов. Особые требования к экспертам-прогнозистам определяются тем, что здесь уже недостаточно "информационной обеспеченности", наличных знаний и прошлого опыта, ибо долгосрочный прогноз не укладывается в логику сегодняшнего дня - в систему представлений, знаний и взглядов, бытующих в данный момент.

Научная футурология должна иметь соответствующую психологическую базу, которая бы обеспечила определение "прогностической способности" экспертов. Именно к этой проблеме психологического отбора экспертов, а не процедурам, обеспечивающим уменьшение влияния психологических причин¹, сводится в конечном счете проблема эффективности экспертного прогнозирования. В этой связи следует признать несостоятельными попытки "объективирования" экспертных оценок путем вычисления средних величин, в результате которого нивелируется мнение меньшинства, несущее порой более ценную информацию.

¹ (С. Д. Бешелеви., С. Г. Гурвич. Экспертные оценки. М., "Наука", 1973. с. 101.)

Другой принципиальный методологический порок системы уменьшения влияний "субъективного" фактора заключается в стремлении учитывать "вес" самих экспертов по таким параметрам, как должность, академическое звание, научная степень и т. п., которые в лучшем случае могут соответствовать квалификации, а последняя - лишь некоторое, причем внутреннее противоречивое и само по себе недостаточное условие прогнозирования. О психологической беспомощности такого подхода свидетельствует, например, следующая шкала "весов" экспертов¹:

¹ (С. Д. Бешелеви., С. Г. Гурвич. Экспертные оценки. М., "Наука", 1973. с. 107.)

Такая "шкала" больше напоминает габель о рангах или платежную ведомость, и тем не менее именно такой подход к оценке возможностей эксперта-прогнозиста оказывается наиболее распространенным. В лучшем случае, помимо ранга (степени и т. п.), при отборе экспертов пытаются учитывать эрудицию и аналитические способности. "Главное требование, предъявляемое к каждому эксперту, естественно, его компетентность в исследуемой области. Кроме того, нужно, чтобы он был также эрудирован в смежных областях, т. е имел достаточно широкий кругозор. Иногда кандидатов в эксперты делят на универсалистов и специалистов, но и в том и в другом случае кандидаты в эксперты должны обладать аналитическим и трезвым умом, хорошо чувствовать тенденции развития"¹. Итак, компетентность, эрудиция, аналитический и трезвый ум, т. е. то, что отличает, по здравому смыслу, человека умного от глупого невежды. Однако определение прогностической ценности этих качеств стоит на таком же уровне, как и определение с точностью до десятых и сотых "весов" экспертов в приведенной выше таблице. Ведь даже на бытовом уровне очевидно, что такие прекрасные качества ума, как аналитичность и трезвость, могут исключать то, что принято обозначать как "интуицию", "фантазию", "чувствительность к проблемам и тенденциям развития".

¹ (С. Д. Бешелеви., С. Г. Гурвич. Экспертные оценки. М., "Наука", 1973. с. 103.)

Этот бытовой портрет прогнозиста противопоставлятся теми же авторами портрету "идеального" эксперта, сновные качества которого:

• креативность - способность решать творческие задачи, метод решения которых полностью или частично неизвестен (заметим сразу, что термин этот в традиционном смысле означает нечто иное, а именно: создавать новое, ставить новые проблемы, новые задачи, а не только решать чужие "творческие" задачи);
• эвристичность - способность видеть или создавать неочевидные проблемы (термин также употребляется в нетрадиционном смысле; "эвристика" - это прием, способ сокращения перебора вариантов при решении задачи);
• интуиция - способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению;
• предикаторность - способность предсказывать или предчувствовать будущие состояния исследуемого объекта (что скорее можно отнести к интуиции в изложенном выше понимании);
• независимость - способность противопоставлять предубеждения массовым мнениям свое собственное (заметим, что в такой постановке за "независимостью" может скрываться все что угодно: и страстная убежденность Галилея, и анархическая натура хулигана и даже патологический негативизм; здесь важно подчеркнуть, что убежденность, отсутствие соглашательства - свойства не только интеллекта, но и личности (этот принципиальный для нас момент мы раскроем ниже);
• всесторонность - способность видеть проблему с различных точек зрения это свойство, которое, по мнению многих, должно объяснить тайну творчества, но которое само остается психологической загадкой, получая различные толкования и наименования "переконструирование"- в гештальтпсихологии, "дивергентность" мышления - в кубической модели интеллекта у Гилфорда и т. п.).

Все это подается как набор необходимых, но внутренне не связанных между собой свойств, тогда как задача научного анализа - раскрытие того внутреннего механизма, ядра, которое и определяет данное явление. Возможно, поэтому все чаще раздаются голоса о существовании особой "прогностической способности" как некоторого обобщенного свойства, присущего истинному эксперту-прогнозисту. Гипотезу о существовании такой способности более или менее четко сформулировал в 60-х годах профессор университета штата Юта (США) Кальвин Тэйлор, хотя очевидно, что способность предвидеть события была хорошо известна еще во времена дельфийских оракулов и индийских йогов. Правда, древние не могли еще додуматься, чтобы присуждать вдвое, вдесятеро больше очков за мнение, высказанное знатным патрицием, по сравнению с предсказанием "рядового" оракула-профессионала. Сложность заключает-тя в выяснении психологической природы "прогностической способности". Что же это такое?

Если глубже проанализировать приведенные выше параметры, станет ясно, что все они относятся психологической наукой к творческому мышлению. Поэтому понять, что есть "прогностическая способность" и каковы подходы к ее изучению, можно, лишь осуществив анализ основных проблем творческого мышления.

Долгое время способность к научному творчеству исследовалась, так, как это подсказывал здравый смысл: чем выше уровень способностей, тем больше творческая отдача человека. Но многочисленные факты и результаты тестирования за рубежом показали, что способности не коррелируют с творческой продуктивностью.

В результате этого возникла другая тенденция - относить различия в творческих возможностях не за счет особой умственной одаренности одних и заурядности способностей других, а за счет особого строя личности. Высота творческого потенциала ставится в прямую зависимость от того или иного строя личности. Но изучение мотивации творческой деятельности складывается обособленно от первого направления, для которого характерна сосредоточенность на познавательных моментах.

Таким образом, налицо - разобщенность двух подходов к исследованию интеллектуального творчества. Очевидно, что интеллектуальное творчество является синтезом и способностей, и мотивационного строя личности, но не сводится к каждому из этих факторов в отдельности. Это дериват интеллекта, преломленного через всю мотивационную структуру личности, которая, может либо тормозить (и тогда способности могут, например, дремать), либо стимулировать, усиливать его проявление. Поэтому необходимо новое теоретическое осмысление механизмов творческого мышления и выделение такого интегрального фактора, который при системном подходе позволил бы глубже понять это взаимодействие.

Действительно, многофакторность творческого мышления, возможность включения в его процесс каких-то дополнительных компенсаторных механизмов - психологических и социальных - не исключает, а предполагает необходимость выделения некоторого специфического показателя творческого потенциала индивида. Методологически это диктуется общетеоретическим положением о необходимости выделения для анализа определенных единиц, "клеточек", неразложимых и обладающих качеством всеобщности. Единица такого анализа, в отличие от элементов, обладает всеми основными свойствами, присущими целому. Адекватными единицами изучения творческой деятельности должны быть такие единицы, которые отражали бы процессуальное взаимодействие интеллектуальных и мотивационных характеристик творчества в их единстве.

Теоретический анализ дает нам. основание выделить такую "клеточку", в которой синтезируются и интеллект и личностные особенности (мотивационные и др.), это- интеллектуальная активность.

Известно, что способ изучения явлений неотделим от понимания их природы. Поэтому в первую очередь следует остановиться на понимании самого термина "интеллектуальная активность". До сих пор этим термином пытаются обозначить не какое-то единое и единственное явление, а целый комплекс явлений, причем как психофизиологических, так и высших психических. Существует поэтому несколько подходов к пониманию и определению интеллектуальной активности, которые отражают различные проявления, различные стороны и различные уровни психической активности в процессе мыслительной деятельности.

По-видимому, стремлением к более широкому пониманию природы интеллектуальной активности объясняется взгляд, согласно которому интеллектуальная активность - это любая умственная деятельность. Действительно, любая умственная деятельность означает состояние активности. Однако последовательное проведение этой линии, характерное для ряда исследователей, приводит к включению в сферу интеллектуальной активности психической активности вообще

Несмотря на видимую широту этого взгляда, он охватывает лишь одну из сторон интеллектуальной активности в собственном смысле слова, а именно то, что интеллектуальная активность обычно выражается в деятельности. Однако из общего понятия деятельности не может быть выделена специфическая характеристика активности. Отсюда становится очевидным, что нет никакого основания определять интеллектуальную активность через умственную деятельность, и наоборот.

Более распространенной стала точка зрения, согласно которой понятие активности раскрывается через количественную характеристику деятельности: уровень интеллектуальной активности - это мера, точнее, количественный показатель умственной деятельности. Этот подход позволяет достаточно детально измерять некоторые процессуальные характеристики интеллектуальной деятельности - ее напряженность, скорость, длительность. Несомненно, эти характеристики и факторы умственной деятельности представляют интерес при анализе интеллектуальной активности в плане дифференциальной психологии, особенно при решении вопросов профпригодности. Однако столь же несомненно, что психологическая структура интеллектуальной активности не исчерпывается ими. При рассматриваемом подходе последняя превращается просто в частный параметр умственной деятельности и, на наш взгляд, выражает лишь ее тонус.

Вместе с тем не интенсивная, но рутинная по своему содержанию умственная деятельность и невысокий ее тонус приводят к тому качественному скачку, которым является новая идея, проблема, проникновение в будущее. Кстати, пожалуй, именно эти два родственных явления - постановка новой проблемы и научное предвидение - олицетворяют высший уровень интеллектуальной активности. Поэтому, на наш взгляд, наиболее адекватным выражением интеллектуальной активности как таковой является интеллектуальная инициатива.

Под интеллектуальной инициативой мы понимаем нестимулированное продолжение познавательной деятельности, не обусловленной ни практическими нуждами, ни внешней отрицательной оценкой деятельности, ни внутренней неудовлетворенностью. Это проявление интеллектуальной активности мы отличаем от инициативы выбора, предпочтения той или иной умственной деятельности, которые рассматриваются обычно как проявление потребности в новых впечатлениях и умственных усилиях.

Еще Платон заметил, что познание начинается с удивления. Но удивляться можно чему-то неожиданному, странному, и тогда сама ситуация стимулирует работу интеллекта. Можно найти удивительное в том, что кажется обыденным, и тогда появляются, а точнее, проявляются Ньютон и Эйнштейн в физике, Лев Толстой - в литературе или, наконец, люди, смело заглядывающие в будущее, предсказывающие исторические или научно-технические изменения с точностью закона, а не как некоторые "датчики вероятности". В связи с этим некоторые авторы выделяют два рода познавательной деятельности: а) стимулированную извне непривычной ситуацией, вызывающей ориентировку и б) деятельность, преодолевающую внутреннее сопротивление, "защитных факторов" ассимилированного понятия, выражающуюся в осознании проблемной ситуации относительно того, что воспринимается как нечто само собой разумеющееся. "Познавательные процессы первого рода,- пишет Л. В. Шеншев,- тривиальны"¹, но именно они представляли и продолжают представлять собой объект внимательного экспериментального изучения. Обычно это обосновывается тем, что всякое мышление функционирует только тогда, когда появляется потребность в нем. Предельно полно и четко это положение раскрывает А. В. Брушлинский: "Мысль начинает работать у каждого и любого нормального человека... когда сама жизнь, практика наталкивает его на какие-то трудности, препятствия, выступающие в виде более или менее сложных задач (проблем")².

¹ (Л. В. Шеншев. Об одном приеме возбуждения познавательного интереса.- "Новые исследования в педагогических науках", № 138, 1965.)

² (А. В. Брушлинский. Психология мышления и кибернетика. М., 1970.)

Существующие методы не позволяют исследовать интеллектуальную активность: во-первых, и тесты, и проблемные задачи так или иначе стимулируют умственную деятельность, тем самым исключая возможность выявления интеллектуальной инициативы как таковой; во-вторых, необходимость решения предполагает появление и оценочных стимулов; в-третьих, тест или проблемная ситуация создают такие условия, в которых испытуемый, как правило, проявляет столько умственных способностей и знаний, сколько от него требует задача; в-четвертых, одноразовость и кратковременность теста могут вызывать у испытуемого стрессовое состояние и препятствовать отделению результата испытания от влияния побочных факторов данного момента.

Тесты на "чувствительность к проблемам" также не лишены этих недостатков. Таким образом, существующие методы не позволяют судить, какова действительная мера активности интеллекта испытуемого.

Главные принципы и требования к методу исследования и диагностирования интеллектуальной инициативы можно сформулировать соответственно следующим образом: 1) отсутствие внешней и внутренней оценочной стимуляции¹; 2) отсутствие "потолка" в исследовании объекта; 3) длительность эксперимента, достаточную для того, чтобы у испытуемого было время развернуть инициативу (а оно у всех равное). Эти требования могут быть воплощены в разном материале, в разных ме* тодиках, но лишь реализация всех этих принципов в их совокупности образует новый метод².

¹ (Это ни в коей мере не противоречит фундаментальному положению о внешней объективной детерминированности психики: мы имеем в виду, во-первых, отсутствие внешних требований и побуждений в конкретной ситуации; во-вторых, такую новую деятельность, при которой у испытуемого нет иных критериев для самооценки, кроме верного ответа и быстроты решения.)

² (Д. Б. Богоявленская. Метод исследования интеллектуальной активности. - "Вопросы психологии", 1971, № 1.)

Для осуществления этого метода потребовалось решить еще одну методическую задачу, так как изложенные принципы не могут быть реализованы в обычной для психологического эксперимента ситуации заданной деятельности, когда перед испытуемым ставится цель, а внешняя оценка работы и его собственная самооценка отражают лишь успешность выполнения задания. Более адекватным проявлению интеллектуальной инициативы был бы эксперимент прожективного типа, но с заложенной в метод матрицей качественной дифференцировки и количественного шкалирования моделируемого свойства.

Противоречие между заданной в эксперименте деятельностью и необходимостью исключить требование как фактор, не позволяющий выявить интеллектуальную инициативу в чистом виде, снимается путем конструирования "двухслойной" экспериментальной ситуации; первый слой - поверхностный - это новая, но доступная для каждого заданная деятельность (ряд несложных однотипных задач), позволяющая личности проявлять себя достаточно полно по всем своим интеллектуальным и неинтеллектуальным характеристикам (скорость и обобщенность решения, реакция на "успех-неуспех" и т. д.); второй - глубинный слой, замаскированный "внешним" слоем и не очевидный для испытуемого; это - скрытая возможность превращения ситуации из объекта заданной деятельности в объект анализа, теоретического обобщения, превращение ситуации из предметов умственного действия в предмет познавательной деятельности. Необходимость успешного выполнения заданной деятельности не стимулирует перехода во второй слой. Причину такого качественного скачка мы видим в интеллектуальной инициативе субъекта.

Теоретические и экспериментальные исследования позволили нам выделить три качественных уровня интеллектуальной активности, которые условно обозначены как стимульно-продуктивный ("репродуктивный"), "эвристический", "креативный". Если при самой добросовестной и энергичной работе испытуемый остается в рамках первоначально найденного способа действия, мы относим его интеллектуальную активность к стимульно-продуктивному, или, как мы его еще называем, пассивному уровню. Мы вводим второе определение ("репродуктивный"), чтобы подчеркнуть не отсутствие умственной деятельности вообще, а то, что эта деятельность каждый раз определяется каким-то внешним стимулом. Репродуктивный уровень-это не состояние бездеятельности, не стремление избежать умственного напряжения. Это - пассивное, безинициативное принятие в своей деятельности того, что задано человеку извне. У одних сама новая деятельность вызывает интерес и доставляет удовольствие, которое (при отсутствии утомления) не иссякает на протяжении всего эксперимента. У других она вызывает бурный интерес, пока она нова и сложна. Но как только они овладевают этой деятельностью и она становится для них монотонной, интерес к ней иссякает, и интеллектуальную деятельность их уже ничто не стимулирует.

Отсутствие внутреннего источника стимуляции - познавательного интереса - и позволяет нам говорить о единой качественной определенности рассматриваемого уровня интеллектуальной активности, главным показателем которого является внешняя стимулированность мыслительной деятельности, отсутствие интеллектуальной инициативы.

Второй уровень - эвристический. Испытуемых этого уровня отличает проявление в той или иной степени интеллектуальной инициативы, не стимулированной ни внешними факторами, ни субъективной оценкой неудовлетворенности результатов деятельности. При отнесении к эвристическому уровню для нас важен не только и даже не столько продукт (та или иная эвристика), а тот процесс, который к нему ведет. Имея достаточно надежный способ работы, испытуемый продолжает анализировать состав, структуру своей деятельности, сопоставляет между собой отдельные задачи, что приводит к открытию новых, более остроумных и оригинальных способов решения. Каждая новая закономерность оценивается и переживается самим эвристом как открытие, творческая находка. В то же время она оценивается только с точки зрения "усовершенствования" и решения "своим способом" поставленных ему задач. Отсюда - предел интеллектуальной активности эвриста.

Высший уровень интеллектуальной активности - креативный, при котором обнаруженная испытуемым эмпирическая закономерность становится для него не эвристикой, формальным приемом, а самостоятельной проблемой, ради которой он готов прекратить предложенную ему в эксперименте деятельность.

Испытуемые-креативы нередко просят позволить подумать над "мистикой" новой закономерности и не давать им больше задач. Перед ними теперь (по их убеждению) - их собственная проблема, и решение ее для них более важно, чем успех в эксперименте. Опыты показали, что постановка проблемы, ее формулирование - мучительный процесс. Испытуемый обрекает себя на это "мученичество" добровольно (это, конечно, частный случай постановки проблем, которому в истории науки соответствует опережение своего времени выдающимися учеными). Самостоятельная, не стимулированная извне постановка проблемы - качественная особенность интеллектуальной инициативы таких испытуемых. Отсюда и качественная определенность высшего уровня интеллектуальной активности, обозначенного нами как креативный (от латинского "сrеаrе" - творить, создавать. Мы используем этот термин, а не общепринятый термин "творческий" потому, что последним обозначается и процесс мышления, и литературная, артистическая, художественная деятельность. Кроме того, у нас нет никаких оснований отказывать эвристам в признании их интеллектуального творчества. Вместе с тем при сопоставлении эвристического и креативного уровней налицо два принципиально разных уровня интеллектуального творчества, соответствующих двум качественно различным уровням интеллектуальной активности, которым, в свело очередь, соответствуют и два типа мышления - эмпирическое и теоретическое). Именно этот высший уровень, характеризующийся углубленным проникновением в объект, и объясняет возможность предсказания человеком качественного изменения тенденций развития исследуемого им объекта и рассматривается нами как психологический механизм "прогностической способности", объясняющий, как и почему человек вскрывает глубинные слои "повседневной" деятельности, обнаруживает новые закономерности и, опираясь на них, обоснованно предсказывает качественные скачки в развитии прогнозируемого явления, скачки, прерывающие постепенность линейного роста. При таком продвижении в глубь сущего и через него в будущее происходит, как следствие, ломка сложившихся представлений, концептуальных моделей, сковывающих "фантазию" других, может быть, не менее компетентных людей. Следовательно, прогностическая способность не мистика, а реальность.

¹ (Этот глагол и соответствующие отглагольные существительные вошли во многие европейские языки (английский, французский, испанский, итальянский и др ). Подбор терминов "креативный" и "эвристический" обусловлен различным значением латинского и греческого корней. Последний - "эврика" (я нашел!) имеет оттенок неожиданности, который отличает, как правило, эмпирическое нахождение новой закономерности.)

Утверждение креативного уровня интеллектуальной активности в качестве механизма, главной "пружины" прогностической способности не отрицает прогностической ценности двух первых уровней; репродуктивный уровень, например, при достаточной квалификации и добросовестности обеспечивает такую важную сторону экспертного прогнозирования, как полнота и надежность информационной базы. Таким образом, проблема управления качеством исходной для ЭВМ экспертной информации решается в первую очередь путем психологического диагностирования уровней интеллектуальной активности участников прогностической группы и правильного функционального их использования.

Анализ выполненных экспериментальных исследований позволяет сформулировать следующие практические рекомендации:

1. Ядром прогностического коллектива должны быть люди, которые наряду с компетентностью обладают высшим - креативным уровнем интеллектуальной активности; последний является показателем ярко выраженной прогностической способности. Креативный уровень обеспечивает комплекс моральных качеств, необходимых эксперту, - интеллектуальную независимость, убежденность и последовательность в отстаивании своей точки зрения путем анализа и глубокого теоретического ее обоснования, отсутствие конформности, своекорыстных мотивов, которые не смог преодолеть метод "Дельфи".
2. При учитывавши квалификации, добросовестности и т. п. лица, у которых отсутствует прогностическая способность (стимульно-продуктивный уровень), могут успешно использоваться в прогностическом коллективе, обеспечивая при сборе и обработке исходных и промежуточных данных полноту и надежность информации.
3. Метод работы прогностической группы должен предусматривать последовательное включение экспертов с различным уровнем интеллекутальной активности в строго заданном порядке:
   1. сбор и переработка информации - стимульно-продуктивный уровень;
   2. проработка первичных количественных оценок и качественных моделей развития прогнозируемого объекта - эвристический уровень;
   3. работа с обобщенным материалом и выявление возможных качественных изменений в будущем - креативный уровень;
   4. проработка выводов третьего этапа с привлечением необходимой дополнительной информации - стимульно-продуктивный уровень.

Использование этих рекомендаций в практике организации работы прогностической группы в одном из институтов АН СССР уже дало, по свидетельству ее руководителя, положительные результаты. Можно думать, что эта система даст еще больший эффект во вновь создаваемых прогностических группах, которые с самого начала формировались бы с учетом рассмотренных выше психологических требований.

Литература

1. Богоявленская Д. Б. Об одном из подходов к исследованию интеллектуального творчества. "Вопросы психологии", 1976, № 4.
2. Богoявленская Д. Б. О валидности метода "креативного поля".- 1 кн.: Проблемы психологической диагностики, Таллин, 1977.
3. Богоявленская Д. Б., Гинсбург М. Р. К вопросу о личностных аспектах творческого мышления.- "Советская педагогика", 1977, № 1.
4. Богоявленская Д. Б. О путях к творчеству.- "Наука и жизнь", 1977, № 2.
5. Кузнецов Б. Г. Философия оптимизма. М., "Наука", 1972.
6. Эделинг Г. Прогнозирование и социализм. М., "Прогресс", 1970.
7. Проблемы планирования и прогнозирования. Сборник. М., "Наука", 1974.
8. Osbern O. F Уоur Creative Power. 1948, N. У. Scribner.
9. Helmer О., Social Technology 1966, N. У. Basic Books.