Big Data простым языком - Алексей Благирев

1) Законность, справедливость и прозрачность. Персональные данные должны обрабатываться законно, справедливо и прозрачно. Любую информацию о целях, методах и объемах обработки персональных данных следует излагать максимально доступно и просто.

2) Ограничение цели. Данные должны собираться и использоваться исключительно в тех целях, которые заявлены компанией (онлайн-сервисом).

3) Минимизация данных. Нельзя собирать личные данные в большем объеме, чем это необходимо для целей обработки.

4) Точность. Личные данные, которые являются неточными, должны быть удалены или исправлены (по требованию пользователя).

5) Ограничение хранения. Личные данные должны храниться в форме, которая позволяет идентифицировать субъекты данных на срок не более, чем это необходимо для целей обработки.

6) Целостность и конфиденциальность. При обработке данных пользователей компании обязаны обеспечить защиту персональных данных от несанкционированной или незаконной обработки.

Стоит отметить ряд важных аспектов, которые сегодня являются общими для значительного количества регуляторных юрисдикций (регуляций).

• Право на забвение, которое дает европейцам возможность удалять свои личные данные по запросу (во избежание их распространения или передачи третьим лицам).

• Право на переносимость данных (right to data portability) является новацией в правилах обработки данных ЕС, введенной GDPR. Данное право заключается в том, что компании обязаны бесплатно предоставлять электронную копию персональных данных другой компании по требованию самого субъекта персональных данных.

• GDPR устанавливает высокие требования в отношении формы получения согласия на обработку данных. Согласие человека на обработку его персональных данных должно быть выражено в форме утверждения или в форме четких активных действий пользователя. Согласие на обработку персональных данных будет недействительно, если у пользователя не было выбора или возможности отозвать свое согласие без ущерба для самого себя. Если пользователь дал согласие на обработку своих персональных данных, контроллер должен иметь возможность продемонстрировать это.

GPDR не рекомендует использовать по умолчанию поля о согласии с уже поставленной галочкой или другие методы получения согласия по умолчанию. Согласие также не может быть выражено в виде молчания или бездействия пользователя. Информация о порядке отзыва согласия на обработку персональных данных должна быть размещена таким образом, чтобы пользователь мог легко ее найти.

Техническая инфраструктура

Стратегия выбора технологического стека, сопровождающего реализацию стратегии данных, во многом будет упираться несколько ключевых составляющих:

• Total cost of Ownership – совокупная стоимость владения технологией. Сюда попадают затраты как на сопровождение, так и на поддержку.

• Total cost of Change – совокупная стоимость изменений. Внешний мир меняется, поэтому в технологический ландшафт потребуется постоянно вносить изменения для того, чтобы соответствовать требованиям внешней среды.

• Total cost per TB – совокупная стоимость технологии за один ТБ решения. При проектировании внутренней экосистемы одной из основных единиц цифровой экономики становится МБ, ГБ или ТБ хранения данных.

Выбор решения может подразумевать разделение на:

• Программные средства – софт, который позволяет обрабатывать или извлекать данные и проделывать с ними различные операции.

• Аппаратные средства – железяки, оборудование, без которого работа с большими и сложными вычислениями становится сложной и бесполезной.

• Программно-аппаратные средства – гибридные решения, которые включают в себя помимо оборудования также и софт.

Себестоимость владения технологией в зависимости от типа средств

С точки зрения поведения экономики гибридные решения имеют ряд определенных ограничений при масштабировании стоимости такого решения и приобретении большего количества данных. В отличии от лицензий, ограничение вводят аппаратные средства, себестоимость производства которых зависит от конкретных драйверов затрат, что в свою очередь сложно переложить на драйвер объема данных. Поэтому с точки зрения снижения TCO более целесообразно выбирать так называемые «serverless-решения».

Зачем нужна стратегия данных?

Стратегия позволяет систематизировать усилия организации, прилагаемые для сбора и обработки данных, выделить ключевые события, которые происходят в данных, определить роли и участников и, наконец, поддержать реализацию миссии организации.

Lean цикл данных

Для простоты описания можно выделить несколько ключевых этапов, которые могут развиваться обособленно:

• Data Harvesting – эффективный сбор данных;

• Data Market – эффективный поиск и предоставление данных внутри организации;

• Data as a Service – аналитические сервисы с использованием данных.

Как влияет культура компании на успешность стратегии?

Согласно высказыванию Питера Дрюкера^[28], «культура компании съедает ее стратегию на завтрак».

Если в компании ценность использования данных не поддерживается на каждом из уровней управления, то реализация стратегии данных находится под существенным риском.

Скорость роста общемирового объема данных

Большая часть данных, доступных сегодня для исследований и монетизации, была создана или собрана за последние несколько лет, и данные продолжают расти со скоростью 50 000 ГБ/сек^[29]. Такие объемы дают определенное конкурентное преимущество при построении новой бизнес-стратегии, но лишь малая часть компаний успела трансформировать свою внутреннюю культуру для эффективной работы с данными на всех уровнях.

В свою очередь, технологии для обработки и хранения данных стали максимально доступными и экономичными. К 2050 году, когда население Земли достигнет 9,6 миллиардов человек, все объекты вокруг будут связаны в единую сеть обмена данными.