ЛАНИТ

Группа компаний ЛАНИТ

rus | eng
+7 (495) 967-66-50
форма обратной связи

Дмитрий Паршин. Десять подводных камней для BIG DATА в России

22.12.2016 Дмитрий ПаршинКонцепция Big Data стала ответом ИТ-сообщества на феноменальный рост больших данных в мире. В 2011 году она впервые попала в отчеты аналитического агентства Gartner как новая технология. Стремительное развитие отрасли больших данных в последние годы привело к тому, что в США и Западной Европе Big Data распалась на множество самостоятельных технологий, решающих специфические задачи в общем процессе обработки данных. Комбинация этих решений позволяет успешно справляться с большинством задач из разных областей бизнеса и экономики. Российский рынок пока только развивается в этом направлении. Его стремление шагать вровень с западным рынком сталкивается с рядом проблем. Но их постепенное преодоление открывает новой ИТ-отрасли широкие перспективы. 

1. В российских компаниях и на предприятиях среднего и малого бизнеса пока нет необходимой базы для накопления больших данных. Если на Западе именно колоссальные объемы данных стали драйвером развития отрасли Big Data, то в России ситуация противоположная. Производства, имеющие столь низкую эффективность, что причины этого лежат на поверхности, не испытывают потребности в больших данных. В России основные носители и потребители Big Data сосредоточены только в банковском секторе, телекоме и торговле. Именно здесь традиционно накапливались значительные объемы данных.

2. Большие данные требуют качественных сырых данных, не подверженных искажениям ни из-за низкого качества средств доставки, ни из благих или корыстных соображений. Также требуется, чтобы данные были из нескольких источников и с большой потенциальной глубиной связей. Это еще сильнее сокращает пригодные наборы данных. В основном, в России требуются дополнительные усилия для расширения набора данных и для их обогащения за счет дополнительных источников.

3. Отсутствие легального рынка купли/продажи информации и данных – специализированных бирж и брокерских площадок (Data Exchange) – не позволяет получить недостающие данные для проведения анализа.

4. Недостаточная практика анализа имеющихся данных в компаниях и на предприятиях среднего и малого бизнеса часто мешает заказчику определить цель анализа и сформулировать ожидаемые результаты. 

5. Нехватка опыта использования облачных технологий и\или аутсорсинга ИТ-услуг у предприятий малого и среднего бизнеса серьезно ограничивает возможности для накопления данных и их обработки в условиях, когда невозможно содержать собственный дата-центр, соответствующий современным требованиям специалистов в области Big Data.

6. Попытки применить специфические технологии Big Data на малых наборах данных не приносят ожидаемого эффекта. 

7. Для обработки разнородных и неструктурированных данных часто используются традиционные статистические или BI-подходы под видом технологий Big Data. А чтобы выявить слабые связи большой глубины нужно применять специальные методы – как на этапе подготовки данных, так и для их последующего анализа. Причем необходимо понимать, что залогом успешного анализа является включение максимально широкого спектра информации, и в том числе данных, которые на первый взгляд не относятся к объекту исследования. 

8. От работы с Big Data часто ошибочно ожидают предсказуемый результат за предсказуемое время – так же, как при традиционных формах работ со структурированными данными. Результатом работы специалиста Data Scientist является методология получения количественной оценки тех или иных показателей по представленному набору данных и правил их интерпретации в контексте бизнес-модели клиента.  Таким образом, имеется бОльшая удельная доля исследовательских работ по сравнению с традиционными видами анализа и обработки структурированных данных.

9. Руководители компаний не понимают, что разработанные методологии требуют последующих корректировок и оптимизации в связи с меняющимися реалиями бизнеса. Невозможно один раз провести анализ и получить решение на долгие годы. Необходимы постоянные инвестиции в поддержание и увеличение эффективности решений, полученных с помощью технологий больших данных.

10. В России пока мало специалистов, умеющих работать с неструктурированными данными, производить их предварительную обработку и анализ, проводить грамотную интерпретацию результатов в зависимости от прикладной области и поставленной задачи. В основном эти специалисты сосредоточены в дата-центрах банков и крупных компаний или в аутсорсинговых компаниях, предоставляющих услуги в области Big Data. Такая ситуация обусловлена малым числом успешно завершенных проектов и в будущем, несомненно, будет меняться, ведь интерес бизнеса и ИТ-специалистов к технологиям Big Data неуклонно растет.


Автор:  Дмитрий Паршин
Источник:  IT Менеджер, № 11, 2016
Ссылка на источник:  http://www.it-weekly.ru/download/pdf/itmanager/154/40-41.pdf
Яндекс.Метрика