Архив номеров

Интеллектуальная система прогнозирования аварий: история и перспективы внедрения

Рынок ИТ демонстрирует непрекращающийся рост интереса к работе с большими данными. Аналитики Morgan Stanley рекомендуют инвестировать в инструменты анализа машинно-генерируемых данных и системы машинного обучения. Увеличивающийся спрос влечет за собой усиление компетенций нашей компании в данном сегменте. О проектах, внедряемых с использованием машинного обучения, о «жонглирующих» нейросетях и будущем рассказал директор Центра компетенций Департамента менедж­мента рисков АО «Открытые технологии» Павел Волков.  

О неприятном

Мы разговариваем с людьми о неприятном, т.е. о рисках, точнее, об управлении операционными рисками. Операционные риски — понятие очень широкое, но для нашей компании это чаще всего неприятные ситуации, подобные различным авариям, отказам, хакерским атакам и мошенничеству в разных отраслях. Зачем мы нужны компаниям, у которых такое случилось? Наша ценность начинается там, где подобные случаи необходимо предотвращать, т.е. управлять ими. Согласитесь, неплохо было бы узнавать о негативном инциденте не как в романе, в котором все — раз! — и умерли, а так, чтобы можно было найти возможность избежать таких событий в будущем. Поэтому очень важная составляющая нашей работы — это прогнозирование. В некоторых случаях неприятное событие можно остановить в начальный момент его развития. К этому относится, например, прогнозирование отказа в автоматизированных системах управления технологическими процессами (АСУ ТП), которые обеспечивают работу промышленных предприятий.

Об ИСПА

Одним из воплощений накопленного нами опыта является технологическая платформа (фреймворк), которую мы назвали интеллектуальной системой прогнозирования аварий (ИСПА).
Этот фреймворк позволяет работать практически с любыми источниками цифровых данных и призван собирать и анализировать неструктурированную информацию. Когда мы говорим о системе выявления причин возникновения тех или иных проблем и их прогнозировании, мы говорим о требованиях, предъявляемых к этой системе. Первое и основное требование — работа в режиме реального времени. Согласитесь, бесполезно предупреждать о возможности плохого, когда оно уже случилось. Поэтому одно из главных качеств ИСПА — это возможность работать с событиями в режиме, близком к реальному времени. Представьте себе, что в момент регистрации некоего события в системе мы сразу можем определить его качество: это событие хорошее, плохое или просто шум, на который не стоит обращать внимания. Данное знание позволяет в тот же момент предпринять действия по устранению возникших проблем, если это необходимо.
Второе требование — это возможность работы с колоссальными объемами данных. В некоторых проектах нам приходится обрабатывать по несколько терабайт данных в сутки. Это очень много, и далеко не все системы способны работать с такими объемами в принципе, не говоря уже про режим реального времени. ИСПА это может.
Третье преимущество ­ИСПА — это возможность использования актуальных инструментов машинного обучения и современных методов анализа больших данных и прогнозирования, которые не используются в традиционных системах мониторинга. ИСПА работает не на уровне какого-то «черного ящика», в который запихнул данные и он там что-то спрогнозировал «на кофейной гуще», а создает цифровые модели действий на основе полученной информации. ­ИСПА обладает интересной особенностью: все методы анализа данных контролируются тем человеком, который эти алгоритмы в систему заложил, т.е. ему понятна логика прогноза. Открытость системы, возможность модификации — все это очень важно для решения нестандартных задач.
Ну и последнее, о чем важно упомянуть в разговоре об этом инструменте анализа, — это наличие очень гибкой визуализации. Человек работает не просто с таблицами и графиками, а с интерактивными панелями, которые обеспечивают более наглядное представление о происходящем на контролируемом объекте.

ГЛОССАРИЙ

Антифрод, или фрод-мониторинг
(от англ. anti-fraud — борьба с мошенничеством)
Система, предназначенная для оценки финансовых транзакций в интернете на предмет подозрительности с точки зрения мошенничества и предлагающая рекомендации по их дальнейшей обработке.
Открытое программное обеспечение
(англ. open source software)
Программное обеспечение с открытым исходным кодом, доступным для просмотра, изучения и изменения, что позволяет убедиться в отсутствии уязвимостей и неприемлемого для пользователя функционала (скрытого слежения за пользователем программы).
Глубокое обучение
(англ. deep learning)
направление в области искусственного интеллекта (Artificial Intelligence) и машинного обучения (Machine Learning), основанное на поиске таких моделей и алгоритмов, благодаря которым компьютеры смогут учиться на собственном опыте, формируя в процессе обучения многоуровневые, иерархические представления об окружающем мире, в которых понятия более высокого уровня определяются на основе понятий более низкого уровня. На данный момент основными «глубокими» моделями являются глубокие нейронные сети (Deep Neural Networks).

Еще раз об операционных рисках

В принципе само понятие операционного риска — это довольно интересная категория. Операционный риск — категория событий, куда входит практически всё, что влияет на возможность достижения поставленных технических и экономических целей, а в самом худшем случае — на саму жизнь и здоровье людей, вовлеченных в данную деятельность. Если мы говорим о враче, то контроль операционных рисков — это учет различных факторов внешней среды, препятствующих выздоровлению, и преследование цели вылечить пациента с минимальными негативными последствиями. Если говорим про специалиста по информационной безопасности, то цель — предотвратить атаки и поймать хакера в случае, когда безопасность системы все-таки была нарушена. Если мы говорим про специалиста по антифроду, то целью будет предотвращение мошенничества и т.д. Самой неприятной особенностью управления операционными рисками является практически неограниченное пространство сценариев их возникновения.
Например, возьмем лифт как один из объектов анализа, которым мы занимаемся. Условия эксплуатации и возраст, качество комплектующих, материалы, наличие или отсутствие планового ремонта — все эти параметры вносят свой вклад в риск возникновения критической неисправности. Наша задача — спрогнозировать вероятность возникновения внештатной ситуации на основе анализа состояния системы в режиме реального времени, которая решается благодаря ИСПА. Наличие системы мониторинга и анализа минимизирует влияние человеческого фактора и снижает количество аварий.

О «бесплатных» аналогах ИСПА

ИСПА, безусловно, не уникальна. В своих составляющих это совершенно не новый продукт. Но именно объединение достаточно простых и известных инструментов в единую систему, которые ранее по отдельности предлагались другими компаниями за приличную цену, делает ИСПА универсальным продуктом. И по большому счету продуктов с таким функционалом и с такими возможностями по объемам и скоростям обработки данных, гибкости и удобству на рынке нет. Если говорить об аналогах, то они делятся на две большие группы: это всевозможные open source-решения, например стеки программного обеспечения, созданные Apache Software Foundation. Однако практически всегда это хорошие фреймворки, но без привязки к конкретным задачам и методам моделирования отказов.
Основная проблема этих систем связана с тем, что, если вы хотите получить итоговый результат, вам нужно браться за большой «напильник» и долго-долго «пилить» систему «под себя». Тем более идея о том, что open source не стоит денег, — это миф: он очень даже их стоит, потому что, если вы собираетесь использовать чужой код, вам придется платить за его поддержку, а если вы собираетесь дальше сопровождать код самостоятельно, то на это также нужны средства и ресурсы.

О проектах с применением ИСПА

Приведу один, но характерный пример. Сейчас мы реализуем очень интересный проект в одном из крупнейших банков, связанный с построением единой зонтичной системы мониторинга банка. Это система, которая контролирует работу всей инфраструктуры банка, оперируя как первоначальными данными, собираемыми из самих источников информации (с серверов, из бизнес-приложений и т.д.), так и информацией, хранящейся в других системах мониторинга. Информация будет поступать практически из всех основных систем, с которыми пользователь взаимодействует каждый день. Проект интересен прежде всего своим масштабом. Только систем мониторинга, из которых мы берем данные, 7 штук, а подлежат мониторингу 18 автоматизированных систем. Это очень большой и сложный проект. Представьте, все системы банка сейчас покрыты зонтичным мониторингом ИСПА. Мы понимаем, что происходит прямо сейчас, в какой момент времени возникает возможность отказа какого-то компонента, насколько достаточно мощностей для поддержки клиентов при росте бизнеса. Мы отвечаем на вопрос, когда и насколько инфраструктуре банка нужно расти, чтобы поддерживать увеличивающийся объем операций. Интересным делает этот проект и то, что он не просто про механический сбор информации и ее визуализацию, а прежде всего про анализ больших данных. Банк, в котором мы работаем, вообще в этом плане очень интересная компания: ее руководители сконцентрированы на работе с большими данными и машинным обучением, и те данные, которые мы сейчас собираем, в будущем будут использоваться в предсказании как работы инфраструктуры, так и поведения пользователей. Фактически мы говорим про реконструкцию бизнес-процессов по следам, которые системы и пользователи оставляют в информационной инфраструктуре.

О будущем машинного обучения

Будет ли в дальнейшем развиваться интерес к машинному обучению, интернету вещей и нейросетям среди наших клиентов? Можно сказать, что произошло чудо: очень многие проблемы, которые стояли перед отраслями долгие годы и традиционно считались сложными или нерешаемыми, оказались разрешимыми просто благодаря тому уровню технологий, на который мы сейчас вышли. Это и значительный рост вычислительных мощностей, и возможности по хранению очень больших объемов данных, и новые методы машинного обучения, прежде всего, конечно, методы глубокого обучения. Интерес к этому направлению и, что важнее, ожидания от него растут даже быстрее скорости его развития. Но есть один очень важный нюанс, связанный с таким понятием, как интерпретируемость. Смотрите, человек умеет жонглировать, у него это классно получается. Свое мастерство он долго оттачивал в процессе обучения. И теперь жонглер не может взять и передать это умение, просто «переместив» это знание из своей головы в голову другому человеку, минуя повторение пути своего обучения. Также жонглер не может объяснить в подробностях, как именно он перехватывает шарики так, что они не падают. Когда мы используем некоторые особенно популярные методы машинного обучения, например из арсенала Deep Learning, то оказываемся в той же ловушке. Наша система становится способна делать прогнозы, распознавать лица, ездить по дороге, но мы не можем объяснить, каким образом она это делает. То есть мы не можем интерпретировать ту модель, которая появилась внутри системы, и это очень серьезная проблема. Следите за мыслью: мы сейчас находимся на таком интересном витке развития технологий, на котором мы можем научить систему решить практически любую задачу, но мы не всегда можем понять, каким именно образом она научилась ее решать. Если в какой-то момент в машинном обучении появится способ универсальной интерпретации и мы сможем понять, как эта штука работает, почему она так ловко распознает образы или водит машину, то это будет действительно шаг вперед. Человеческое знание по своей природе рационально, и мы имеем возможность объяснить его другому человеку. А искусственная нейросеть знанием просто владеет, не имея возможности рассказать обо всех этапах получения своего знания. Это фундаментальное ограничение. Преодолев его, человечество действительно вступит в эру нейросетей с ее невероятными перспективами. Поэтому важно целенаправленно готовить молодых специалистов к решению этой глобальной задачи, преподавая в вузах курсы математического моделирования и об­учая студентов методам работы с большими данными.

Полная версия статьи доступна подписчикам электронного журнала "Стандарты и качество". Подписаться >>>

01.10.2018

448
Поделиться:

Полная версия статьи доступна подписчикам журнала "Business Excellence".
Подписаться >>>

Подписаться

Материалы по данной теме можно СКАЧАТЬ в Электронной Библиотеке >>>

САЙТ ЖУРНАЛА "BUSINESS EXCELLENCE" - WWW.BE-MAG.RU