Вы не авторизованы...
Вход на сайт
Сегодня 19 ноября 2017 года, воскресенье , 08:05:34 мск
Общество друзей милосердия
Опечатка?Выделите текст мышью и нажмите Ctrl+Enter
 
Контакты Телефон редакции:
+7(495)640-9617

E-mail: nr@oilru.com
 
Сегодня сервер OilRu.com - это более 1270.43 Мб информации:

  • 536446 новостей
  • 5112 статей в 168 выпусках журнала НЕФТЬ РОССИИ
  • 1143 статей в 53 выпусках журнала OIL of RUSSIA
  • 1346 статей в 45 выпусках журнала СОЦИАЛЬНОЕ ПАРТНЕРСТВО
Ресурсы
 

Big Data

 
Алина Федосова, к. э. н.
Наступает эпоха большой информации
14.11.2017

Данные, собираемые энергокомпаниями, скоро действительно станут большими. Устройства интеллектуальной энергетики постоянно посылают информацию о состоянии оборудования, энергопотреблении, напряжениях, нагрузках, GPS-координаты электропоездов и электромобилей и многое другое. Уже в 2017 г. объём информации, посылаемой умными счётчиками в мире, дошёл до 280 петабайт (280x10 в 15-й степени байт) в год. Правильно обрабатывая эти данные, энергетический бизнес может выйти на новые уровни эффективности и отношений с клиентами.

О чём речь?

Понятие Big Data в первую очередь относится к методам обработки данных, которые включают прогнозную аналитику, анализ поведения потребителей и другие сложные статистические исследования. В частности, широко используются индуктивная статистика и методы идентификации нелинейных систем, которые позволяют вывести неочевидные закономерности из больших наборов данных и предсказать будущие события вместе с их последствиями.


Термин Big Data также обозначает наборы данных, которые настолько велики по объёму или сложны, что традиционное программное обеспечение с ними не справляется. В частности, проблемы возникают при сборе, хранении, анализе, очистке, поиске, обмене, передаче, визуализации, обновлении и защите информации, а также формулировке запросов в базы данных. Для обработки массивов Big Data с помощью традиционных программ пришлось бы одновременного запускать сотни и даже тысячи компьютеров, после чего было бы проблематично свести воедино результаты анализа. Поэтому для обработки Big Data созданы специальные средства (такие, как программный инструментарий Hadoop framework), которые помогают распараллелить задачи по хранению и анализу данных на нескольких компьютерных кластерах.

На практике не существует определённого порога, после которого данные считаются большими. Понятие Big Data охватывает объёмы информации от нескольких терабайт (1 Тбайт = 1000 Гбайт) до многих петабайт. В то же время с прогрессом в вычислительной технике граница постоянно отодвигается. Некоторые организации уже сейчас оснащены достаточно хорошо, чтобы самим обработать сотни терабайт данных без применения инструментария Hadoop.

Информация, входящая в Big Data, может быть структурированной, полуструктурированной и неструктурированной, причём, как правило, последняя составляет наибольшую долю. Например, это многочисленные отклики граждан о работе энергосбытовых и теплотранспортных компаний в социальных сетях и на различных Интернет-форумах.

Традиционно данные Big Data описываются следующими характеристиками.
1. Объём (volume). Определяет ценность базы данных с точки зрения потенциала её модельного использования (чем больше данных, тем более разнообразные модели можно построить).
2. Разнообразие (variety). Определяет тип и природу происхождения данных, которые влияют на перспективы их применения.
3. Скорость (velocity) генерации данных, откуда вытекает скорость их обработки, необходимая для получения конечных результатов.
4. Неоднородность (variability) набора данных, которая затрудняет их анализ.
5. Достоверность (veracity).

Нам поможет аналитика

Модели, построенные на анализе больших данных, призваны помочь нам оптимизировать ряд процессов в электроэнергетике. Например, быстрее и точнее прогнозировать отказы оборудования, оптимизировать динамическое ценообразование так, чтобы снизить пиковые нагрузки, оптимизировать интеграцию распределённой генерации в систему (см. таблицу). Кстати, Системный оператор ЕЭС России применяет анализ больших данных, притом давно – с тех пор, когда ещё не было такого термина. Но многие другие субъекты российской энергетики пока не видят для себя пользы в Big Data.


Прогнозные модели помогают продлить жизнь и увеличить производительность оборудования, снижая затраты на его ремонт. Руководитель одной британской энергокомпании сказал: «У нас полно старого оборудования, и мы больше не можем себе позволить заменять его в зависимости от его возраста. У нас должен быть гораздо более научный подход к тому, когда какое оборудование заменить и какое оставить. Единственный инструмент для этого – это предсказательная аналитика, которая заранее покажет, где возникнут проблемы, чтобы мы могли их решить».

Как показывает опыт зарубежных предприятий, выигрыш от анализа больших данных может быть очень велик. Например, компания Center Point Energy USA использовала предсказательный анализ и обработку данных в реальном времени, чтобы предотвратить воровство электроэнергии, сэкономив тем самым почти 2 млн долл. Отметим, что речь может идти не только об эксплуатации уже имеющихся систем. Компания Vestas Wind Systems, производитель ветряных установок из Дании, предлагает энергопредприятиям модель на Big Data, чтобы оптимизировать расположение ветряных турбин для увеличения выработки электроэнергии и срока службы оборудования.

Строить отношения

Концепция Big Data пригодна для анализа отзывов и мнений потребителей электроэнергии. Компания Gulf Power (шт. Флорида) таким образом установила, что после эпизодов отключения электроэнергии удовлетворение потребителей наиболее высоко, если электроснабжение восстанавливается за 10 мин. до объявленного времени, но если восстановить электроснабжение на два часа раньше объявленного срока, потребители будут недовольны. Понимая подобные тонкости, можно смягчить отношения с клиентами в наиболее проблемных сферах, таких как ЖКХ.

Удовлетворённый потребитель привязан к поставщику ресурсов, подтвердил руководитель немецкой энергокомпании: «Аналитика позволяет делать потребителям индивидуальные предложения, определённо повышая их лояльность». Вертикально интегрированная энергокомпания EDF Energy (Великобритания) использует анализ Big Data, чтобы снизить «бегство» потребителей к другим сбытовым компаниям, сберегая на этом ежегодно до 30 млн долл. Другой поставщик электроэнергии, Endesa (Испания), за два года снизил количество уходящих клиентов на 50%. Компания сегментировала накопленные данные о потребителях, чтобы лучше понять требования клиентов разных видов. На основе полученных данных были организованы кампании по сохранению клиентов и привлечению новых, которые обошлись гораздо дешевле, чем раньше.

Полным ходом?

Несмотря на все достоинства, в электроэнергетике аналитика больших данных пока мало распространена. В других отраслях (нефтяная и газовая, финансы, телекоммуникации) она внедряется гораздо быстрее. Исследование более 100 энергокомпаний, проведённое специалистами Capgemini Consulting, показало, что только 20% из них используют Big Data. При этом в 41% случаев речь идёт о простейшем анализе данных, без построения комплексных моделей. Это происходит, в основном, потому, что электроэнергетические компании избегают трудности со сбором и хранением информации, которая, к тому же, постоянно растёт в объёме. Доступ к данным и проблемы защиты информации – ещё одна головная боль для предприятий.

Как и следовало ожидать, электроэнергетические компании редко используют аналитику для целевого маркетинга, оценки перспектив продаж или оптимизации цен. Её низкая популярность, среди прочего, объясняется дороговизной решений (например, таких, как мониторинг и превентивный ремонт оборудования), способных всерьёз повысить качество сервиса для потребителей. Более того, в нашей отрасли подобные вопросы зачастую даже не входят в перечень задач аналитических служб. При подготовке уже упомянутого исследования специалисты Capgemini Consulting опросили 1000 человек, работающих в разных отраслях, и выяснили, что в электроэнергетике меньше всего (10%) аналитиков, которые главным образом заняты вопросами обслуживания потребителей. Ещё меньше респондентов, 3%, рассматривали задачи обслуживания клиентов как самую важную сферу своей ответственности.

* * *

Несмотря на названные трудности, инвестиции в аналитику Big Data со стороны компаний электроэнергетической отрасли будут только расти. Консультанты рекомендуют начинающим «археологам» больших данных сначала определиться с целью их анализа и реализовать пилотный проект (проверку статистической гипотезы), который не требует больших затрат и длительного времени, а также не влечёт значительных рисков.



0

 

 
Рейтинг@Mail.ru   


© 1998 — 2017, «Нефтяное обозрение (oilru.com)».
Свидетельство о регистрации средства массовой информации Эл № 77-6928
Зарегистрирован Министерством РФ по делам печати, телерадиовещания и средств массовой коммуникаций 23 апреля 2003 г.
Свидетельство о регистрации средства массовой информации Эл № ФС77-51544
Перерегистрировано Федеральной службой по надзору в сфере связи и массовых коммуникаций 2 ноября 2012 г.
Все вопросы по функционированию сайта вы можете задать вебмастеру
При цитировании или ином использовании любых материалов ссылка на портал «Нефть России» (http://www.oilru.com/) обязательна.
Точка зрения авторов, статьи которых публикуются на портале oilru.com, может не совпадать с мнением редакции.
Время генерации страницы: 0 сек.

Big Data

Алина Федосова, к. э. н.
Наступает эпоха большой информации
14.11.2017

Данные, собираемые энергокомпаниями, скоро действительно станут большими. Устройства интеллектуальной энергетики постоянно посылают информацию о состоянии оборудования, энергопотреблении, напряжениях, нагрузках, GPS-координаты электропоездов и электромобилей и многое другое. Уже в 2017 г. объём информации, посылаемой умными счётчиками в мире, дошёл до 280 петабайт (280x10 в 15-й степени байт) в год. Правильно обрабатывая эти данные, энергетический бизнес может выйти на новые уровни эффективности и отношений с клиентами.

О чём речь?

Понятие Big Data в первую очередь относится к методам обработки данных, которые включают прогнозную аналитику, анализ поведения потребителей и другие сложные статистические исследования. В частности, широко используются индуктивная статистика и методы идентификации нелинейных систем, которые позволяют вывести неочевидные закономерности из больших наборов данных и предсказать будущие события вместе с их последствиями.


Термин Big Data также обозначает наборы данных, которые настолько велики по объёму или сложны, что традиционное программное обеспечение с ними не справляется. В частности, проблемы возникают при сборе, хранении, анализе, очистке, поиске, обмене, передаче, визуализации, обновлении и защите информации, а также формулировке запросов в базы данных. Для обработки массивов Big Data с помощью традиционных программ пришлось бы одновременного запускать сотни и даже тысячи компьютеров, после чего было бы проблематично свести воедино результаты анализа. Поэтому для обработки Big Data созданы специальные средства (такие, как программный инструментарий Hadoop framework), которые помогают распараллелить задачи по хранению и анализу данных на нескольких компьютерных кластерах.

На практике не существует определённого порога, после которого данные считаются большими. Понятие Big Data охватывает объёмы информации от нескольких терабайт (1 Тбайт = 1000 Гбайт) до многих петабайт. В то же время с прогрессом в вычислительной технике граница постоянно отодвигается. Некоторые организации уже сейчас оснащены достаточно хорошо, чтобы самим обработать сотни терабайт данных без применения инструментария Hadoop.

Информация, входящая в Big Data, может быть структурированной, полуструктурированной и неструктурированной, причём, как правило, последняя составляет наибольшую долю. Например, это многочисленные отклики граждан о работе энергосбытовых и теплотранспортных компаний в социальных сетях и на различных Интернет-форумах.

Традиционно данные Big Data описываются следующими характеристиками.
1. Объём (volume). Определяет ценность базы данных с точки зрения потенциала её модельного использования (чем больше данных, тем более разнообразные модели можно построить).
2. Разнообразие (variety). Определяет тип и природу происхождения данных, которые влияют на перспективы их применения.
3. Скорость (velocity) генерации данных, откуда вытекает скорость их обработки, необходимая для получения конечных результатов.
4. Неоднородность (variability) набора данных, которая затрудняет их анализ.
5. Достоверность (veracity).

Нам поможет аналитика

Модели, построенные на анализе больших данных, призваны помочь нам оптимизировать ряд процессов в электроэнергетике. Например, быстрее и точнее прогнозировать отказы оборудования, оптимизировать динамическое ценообразование так, чтобы снизить пиковые нагрузки, оптимизировать интеграцию распределённой генерации в систему (см. таблицу). Кстати, Системный оператор ЕЭС России применяет анализ больших данных, притом давно – с тех пор, когда ещё не было такого термина. Но многие другие субъекты российской энергетики пока не видят для себя пользы в Big Data.


Прогнозные модели помогают продлить жизнь и увеличить производительность оборудования, снижая затраты на его ремонт. Руководитель одной британской энергокомпании сказал: «У нас полно старого оборудования, и мы больше не можем себе позволить заменять его в зависимости от его возраста. У нас должен быть гораздо более научный подход к тому, когда какое оборудование заменить и какое оставить. Единственный инструмент для этого – это предсказательная аналитика, которая заранее покажет, где возникнут проблемы, чтобы мы могли их решить».

Как показывает опыт зарубежных предприятий, выигрыш от анализа больших данных может быть очень велик. Например, компания Center Point Energy USA использовала предсказательный анализ и обработку данных в реальном времени, чтобы предотвратить воровство электроэнергии, сэкономив тем самым почти 2 млн долл. Отметим, что речь может идти не только об эксплуатации уже имеющихся систем. Компания Vestas Wind Systems, производитель ветряных установок из Дании, предлагает энергопредприятиям модель на Big Data, чтобы оптимизировать расположение ветряных турбин для увеличения выработки электроэнергии и срока службы оборудования.

Строить отношения

Концепция Big Data пригодна для анализа отзывов и мнений потребителей электроэнергии. Компания Gulf Power (шт. Флорида) таким образом установила, что после эпизодов отключения электроэнергии удовлетворение потребителей наиболее высоко, если электроснабжение восстанавливается за 10 мин. до объявленного времени, но если восстановить электроснабжение на два часа раньше объявленного срока, потребители будут недовольны. Понимая подобные тонкости, можно смягчить отношения с клиентами в наиболее проблемных сферах, таких как ЖКХ.

Удовлетворённый потребитель привязан к поставщику ресурсов, подтвердил руководитель немецкой энергокомпании: «Аналитика позволяет делать потребителям индивидуальные предложения, определённо повышая их лояльность». Вертикально интегрированная энергокомпания EDF Energy (Великобритания) использует анализ Big Data, чтобы снизить «бегство» потребителей к другим сбытовым компаниям, сберегая на этом ежегодно до 30 млн долл. Другой поставщик электроэнергии, Endesa (Испания), за два года снизил количество уходящих клиентов на 50%. Компания сегментировала накопленные данные о потребителях, чтобы лучше понять требования клиентов разных видов. На основе полученных данных были организованы кампании по сохранению клиентов и привлечению новых, которые обошлись гораздо дешевле, чем раньше.

Полным ходом?

Несмотря на все достоинства, в электроэнергетике аналитика больших данных пока мало распространена. В других отраслях (нефтяная и газовая, финансы, телекоммуникации) она внедряется гораздо быстрее. Исследование более 100 энергокомпаний, проведённое специалистами Capgemini Consulting, показало, что только 20% из них используют Big Data. При этом в 41% случаев речь идёт о простейшем анализе данных, без построения комплексных моделей. Это происходит, в основном, потому, что электроэнергетические компании избегают трудности со сбором и хранением информации, которая, к тому же, постоянно растёт в объёме. Доступ к данным и проблемы защиты информации – ещё одна головная боль для предприятий.

Как и следовало ожидать, электроэнергетические компании редко используют аналитику для целевого маркетинга, оценки перспектив продаж или оптимизации цен. Её низкая популярность, среди прочего, объясняется дороговизной решений (например, таких, как мониторинг и превентивный ремонт оборудования), способных всерьёз повысить качество сервиса для потребителей. Более того, в нашей отрасли подобные вопросы зачастую даже не входят в перечень задач аналитических служб. При подготовке уже упомянутого исследования специалисты Capgemini Consulting опросили 1000 человек, работающих в разных отраслях, и выяснили, что в электроэнергетике меньше всего (10%) аналитиков, которые главным образом заняты вопросами обслуживания потребителей. Ещё меньше респондентов, 3%, рассматривали задачи обслуживания клиентов как самую важную сферу своей ответственности.

* * *

Несмотря на названные трудности, инвестиции в аналитику Big Data со стороны компаний электроэнергетической отрасли будут только расти. Консультанты рекомендуют начинающим «археологам» больших данных сначала определиться с целью их анализа и реализовать пилотный проект (проверку статистической гипотезы), который не требует больших затрат и длительного времени, а также не влечёт значительных рисков.



© 1998 — 2017, «Нефтяное обозрение (oilru.com)».
Свидетельство о регистрации средства массовой информации Эл № 77-6928
Зарегистрирован Министерством РФ по делам печати, телерадиовещания и средств массовой коммуникаций 23 апреля 2003 г.
Свидетельство о регистрации средства массовой информации Эл № ФС77-33815
Перерегистрировано Федеральной службой по надзору в сфере связи и массовых коммуникаций 24 октября 2008 г.
При цитировании или ином использовании любых материалов ссылка на портал «Нефть России» (http://www.oilru.com/) обязательна.
Добро пожаловать на информационно-аналитический портал "Нефть России".
 
Для того, чтобы воспользоваться услугами портала, необходимо авторизоваться или пройти несложную процедуру регистрации. Если вы забыли свой пароль - создайте новый.
 
АВТОРИЗАЦИЯ
 
Введите Ваш логин:

 
Введите Ваш пароль: