Зетта-повінь настає

Комп'ютерний світ проходить болісний процес еволюційного переходу від обчислювальних систем в їх, якщо так можна сказати, «чистому вигляді» через системи обробки даних і далі до систем управління інформацією. Болісність цього процесу полягає в тому, що на кожному з його етапів ускладнюються не тільки кошти, а й предмет обробки.

З часів клинопису і понині, роблячи короткі записи або створюючи багатотомні романи, люди й не підозрювали, що вони створюють зразки неструктурованих даних. Для того щоб дані стали структурованими, потрібно було винайти комп'ютер.

Коли з'явилися перші комп'ютери, вони використовувалися безпосередньо, відповідаючи своїй назві – як засіб автоматизації розрахунків. Аж до 70-х років застосування комп'ютерів обмежувалося вирішенням математичних завдань, тому достатньо було представляти дані у вигляді масивів чисел, що не представляло особливих труднощів. Потім необхідність оперування даними з більш складною структурою призвела до появи систем управління базами даних. Цей етап розпочався в 70-ті роки і протягнувся до сучасності. На перших двох етапах участь людини обмежувалося підготовкою даних та аналізом кінцевих результатів.

Щоб далі оперувати великими обсягами інформації, наведемо одиниці виміру для зберігання, обробки і передачі даних у різних Міжнародних стандартах, де рекомедуется використовувати спеціальні префікси для десяткових та бінарних ступенів (російською мовою). За пропозицією Міжнародної електротехнічної комісії (МЕК), назва «Эксабайт» загальноприйнята, але невірно, так як приставка экса- означає множення на 10¹⁸. Правильною для 2⁶⁰ є двійкова приставка эксби-.

Дослідження Університету Південної Кароліни встановило, що загальний обсяг збережених даних до 2007 року склав 295 ексабайт (295 міліардів гігабайтів).

Дослідники прийшли до таких цифр грунтуючись на даних, що зберігаються в 60 аналогових або цифрових форматах, починаючи від паперу або книг і закінчуючи даними на серверах і кредитних картах. Це оцінка обсягу зберігання даних з 1986 до 2007 років, яка склала 295 ексабайт.

"Якби ми зібрали всю інформацію і помістили її на сторінки книг, то ми б покрили території США або Китаю трьома шарами книг", – сказав Мартін Гілберт з Університету Південної Каліформіі в передачі BBC Science in Action.

У доповіді говориться, що відбулася революція, яка перенесла дані з аналогових на цифрові формати. У 2000 році 3/4 всіх даних у світі були в аналогових форматах, але всього лише 7 років потому 94% інформації зберігалось вже в цифрі.

На думку вчених, загальний обсяг інформації, вироблений людьми до 2007 року, будучи записаним на компакт-диски, може утворити стопку висотою більше орбіти Місяця. До 2020 року, за оцінкою дослідницької компанії IDC, "цифровий всесвіт" буде в 44 рази більше, ніж у 2009-му, тобто стопка дисків до цього часу дорівнювала б половині відстані до Марса.

Бурхливе зростання кількості цифрової інформації директор однієї з дослідницьких лабораторій компанії Intel професор Джим Хелд пояснює збільшенням кількості інтернет-сервісів, поширенням мобільних телефонів з якісними відеокамерами і збільшеними вимогами корпоративних інформаційних систем. На доказ своєї думки Хелд навів такі приклади: "Walmart (найбільша торговельна мережа США) додає по мільярду записів на хвилину в свої бази даних. Відеосервіс YouTube зберігає більше даних, ніж всі комерційні телеканали передають за рік".

У 2014 р. обсяг глобального Інтернет-трафіку досягне 767 ексабайт, збільшившись вчетверо. Такі дані дослідження «Індексу розвитку візуальних мережних технологій за 2009-2014 рр..», Проведеного компанією Cisco. У ньому зокрема повідомляється, що до 2014 р. обсяг глобального Інтернет-трафіку зросте більш ніж у чотири рази і досягне 767 ексабайт, тобто перевищить 3/4 зеттабайт. Це на 100 ексабайт більше рівня, прогнозованого на 2013 р., і в 10 разів перевищує загальний обсяг трафіку в IP-мережах в 2008 р.

Більшою мірою вся ця лавина інформації – плід невгамовної тяги людей до мультимедіа, особливо, до відео. До 2015 року понад 90% даних у "всесвітній павутині" будуть припадати на відеоконтент. Це створить величезне навантаження на мережі та потребують оптимізації архітектури безпеки, а також підвищення якості послуг передачі даних.

Предбачаючи такий наплив «океана» інформації можна сказати, що ми стоїмо на порозі приходу «Епохи Великих Даних». І якщо говорити про файлові системи (яким і присвячений наш невеликий огляд) – забудьте про NTFS або ext3 в цьому контексті, вони фізично не здатні ефективно обслуговувати сучасні сховища на десятки і сотні петабайт.