Что лучше, статистические методы или нейронные сети?

Лучшим ответом на этот сугубо практический для прикладника вопрос является “It depends”. По-русски это означает “Все зависит от ситуации”. Иногда, особенно если априорная информация о данных отсутствует, разумнее использовать нейронные сети. Такой выбор часто дает быстрое и качественное решение задачи, как правило не худшее, чем получаемое статистическими методами после тщательного изучения структуры данных.

1 Иногда высказывается такое мнение, что статистические методы предназначены для профессионалов, поскольку их использование требует основательной теоретической подготовки. В то же время, нейронные сети - это инструмент любителей, который можно быстро освоить и применять. Как бы то ни было, разработка нейросетевой системы анализа данных действительно может быть осуществлена за значительно более короткое время (порядка нескольких месяцев) нежели создание аналогичной системы статистического анализа (требующее годы). Например, бизнес-стратег Дэниэл Баррас, автор “Technotrands: How to Use Technology to Go Beyond Your Competition” утверждает, что для того, чтобы остаться конкурентноспособным, деловой человек должен не только использовать инструменты будущего, но и использовать их по-новому. В частности, нейросетевые технологии снабжают людей экспертизой, которая прежде могла быть получена лишь в течении многих лет обучения и опыта.

При наличии дополнительных знаний о характере задачи статистические данные могут оказаться предпочтительнее. При сравнительном анализе возможностей нейронных сетей и статистических методов надо быть достаточно осторожными, поскольку иногда весьма сложные нейросетевые подходы сопоставляются с простыми статистическими моделями или наоборот. Существует мнение, что одинаково мощные статистические и нейросетевые подходы дают результаты одинаковые по точности и по затратам. Тем не менее, примеры решения действительно важных прикладных задач могут дать представление о возможностях того или иного подхода.

1 Очень важной является проблема диагностирования инфаркта миокарда в приемном покое. Опытные врачи правильно определяют это заболевание в 88% случаев и в 29% случаев дают ложную тревогу. Разнообразные статистические методы, включая дискриминантный анализ, логистическую регрессию, рекурсивный анализ распределений и пр. смогли лишь незначительно снизить число ложных тревог (до 26%). А вот Вильям Бакст, работающий на медицинском факультете университета в Сан-Диего, использовал для диагностики многослойный персептрон и повысил число правильно диагностированных инфарктов до 92%. Но более впечатляющим его результатом было снижение числа ложных тревог до 4%(!). Заметим, что такое значительное уменьшение ложно-положительных реакций является достаточно типичным преимуществом использования нейронных сетей. Эта особенность стимулирует в настоящее время разработку нейросетевых систем диагностики рака молочной железы, для которой ложные диагнозы являются настоящим бичом.

1 Дэвид Эшби и Нед Кумар из Школы Бизнеса в Арканзасе сравнили результаты применения нейросетевой технологии и классического дискриминантного анализа к предсказанию невыполнения обязательств по высокодоходным облигациям (“junk-bonds”). Такие облигации являются в настоящее время основным источником внешнего финансирования американских корпораций. Невыполнение обязательств означает либо потерю интереса к компании, либо потерю финансирования. Поскольку операции с такими облигациями носят ярко выраженный спекулятивный характер, то предсказание выхода их из игры представляет интерес для ее участников. Задача состоит в классификации облигаций на два класса: выполнят - не выполнят. Первичный набор признаков, характеризовавших каждую облигацию, включал 29 финансовых и рыночных показатели фирм, из которых после корреляционного анализа было отобрано 16. Линейный дискриминантный анализ позволил провести классификацию с точностью 87.5%, в то время как двухслойный персептрон (16 нейронов в скрытом слое) дал несколько лучший результат - 89.3% правильных ответов.

1 Нейронные сети помогают выявить связи между данными в тех случаях, когда статистические методы не справляются с задачей. Например, статистика не позволяет найти корреляцию в последовательностях ДНК двух бактериофагов PHIX174 и MIG4XX, хотя было известно, что они являются ближайшими родственниками. Использование сетей Хопфилда для поиска в этих последовательностях скрытых повторов (периодичностей), обеспечившее учет корреляций между нуклеотидными парами, не только показало несомненную близость геномов этих фагов, но и продемонстрировало, что они представляют собой гены, “сбежавшие” с комплементарных цепей ДНК-предшестенницы.