Семестр Большие данные все чаще используется почти повсюду на планете - онлайн и офлайн. И это не связано только с компьютерами. Он подпадает под общий термин «Информационные технологии», который теперь является частью почти всех других технологий и областей исследований и бизнеса. Большие данные - это не большая проблема. Обман вокруг него - это довольно серьезная проблема, чтобы смутить вас. В этой статье рассматривается, что такое большие данные. Он также содержит пример того, как NetFlix использовал свои данные, а точнее, Big Data, чтобы лучше удовлетворять потребности своих клиентов.
Что такое большие данные
Данные, которые лежали на серверах вашей компании, были всего лишь данными до вчерашнего дня - отсортированы и поданы. Внезапно сленговые «Большие данные» стали популярными, и теперь данные в вашей компании - «Большие данные». Этот термин охватывает все данные, хранящиеся в вашей организации до сих пор. Он включает данные, хранящиеся в облаках, и даже URL-адреса, которые вы указали в закладки. Возможно, ваша компания не оцифровала все данные. Возможно, вы уже не структурировали все данные. Но тогда все цифровые, бумажные, структурированные и неструктурированные данные с вашей компанией теперь являются большими данными.
Короче говоря, все данные, независимо от того, классифицированы или нет, присутствуют на ваших серверах, совместно называются BIG DATA. Все эти данные могут использоваться для получения разных результатов с использованием различных типов анализа. Нет необходимости, чтобы весь анализ использовал все данные. В другом анализе используются разные части БОЛЬШИХ ДАННЫХ для получения необходимых результатов и прогнозов.
Большие данные - это, по сути, данные, которые вы анализируете для результатов, которые вы можете использовать для прогнозов и других целей. При использовании термина Big Data неожиданно ваша компания или организация работает с информационными технологиями верхнего уровня, чтобы вывести разные типы результатов, используя те же данные, которые вы хранили намеренно или непреднамеренно на протяжении многих лет.
Насколько велики большие данные
По сути, все данные объединены с Big Data, но многие исследователи согласны с тем, что Big Data - как таковой - нельзя манипулировать обычными электронными таблицами и регулярными инструментами управления базами данных. Им нужны специальные инструменты для анализа, такие как Hadoop (мы изучим это в отдельной статье), чтобы все данные могли анализироваться за один раз (может включать итерации анализа).
В отличие от вышеизложенного, хотя я не эксперт по этому вопросу, я бы сказал, что данные с любой организацией - большой или малой, организованной или неорганизованной - являются большими данными для этой организации и что организация может выбрать свои собственные инструменты для анализа данные.
Обычно для анализа данных люди использовали для создания разных наборов данных на основе одного или нескольких общих полей, чтобы анализ стал простым. В случае Big Data нет необходимости создавать подмножества для его анализа. Теперь у нас есть инструменты, которые могут анализировать данные независимо от того, насколько они огромны. Вероятно, эти инструменты сами классифицируют данные, даже когда они анализируют его.
Я считаю важным упомянуть два предложения из книги Джимми Гутермана «Большие данные»:
“ Big Data: when the size and performance requirements for data management become significant design and decision factors for implementing a data management and analysis system.”
-а также-
“For some organizations, facing hundreds of gigabytes of data for the first time may trigger a need to reconsider data management options. For others, it may take tens or hundreds of terabytes before data size becomes a significant consideration.”
Таким образом, вы видите, что и объем, и анализ являются важной частью Big Data.
Читать: Что такое интеллектуальный анализ данных?
Основные понятия
Это еще один момент, когда большинство людей не согласны. Некоторые эксперты говорят, что концепция «больших данных» - это три V:
- объем
- Скорость
- разнообразие
Некоторые другие добавляют еще несколько V в концепцию:
- Визуализация
- Достоверность (надежность)
- Изменчивость и
- Значение
Я расскажу о концепциях больших данных в отдельной статье, поскольку этот пост уже становится большим. На мой взгляд, первых трех V достаточно, чтобы объяснить концепцию «больших данных».
Пример больших данных - как NetFlix использовал его для решения своих проблем
К 2008 году в NetFlix произошел сбой, из-за которого многие клиенты остались в темноте. Хотя некоторые из них могут получить доступ к потоковым службам, большинство из них не смогли. Некоторым заказчикам удалось получить свои арендованные DVD-диски, тогда как другие не смогли. Сообщение в блоге на Wall Street Journal говорит, что Netflix только что начал по требованию.
Отказ заставил руководство думать о возможных будущих проблемах и, следовательно, он обратился к Большим Данным. Он анализировал высокие области трафика, восприимчивые точки и пропускную способность сети и т. Д., Используя эти данные, и работал над этим, чтобы снизить время простоя, если возникнет проблема будущего, поскольку она стала глобальной. Вот ссылка на блог Wall Street Journal, если вы хотите ознакомиться с примерами больших данных.
Приведенное выше суммирует, что такое большие данные на языке неспециалиста. Вы можете назвать это очень простым введением. Я планирую написать еще несколько статей о связанных с ними факторах, таких как: «Концепции, анализ, инструменты и использование больших данных», «Большие данные 3 В» и т. Д. Между тем, если вы хотите добавить что-либо к вышесказанному, прокомментируйте и передайте нас.
