Компанія Splunk створила продукт Hunk, призначений для обробки і аналізу масивів даних прямо всередині Hadoop, який забезпечує гнучкість і швидкість при аналізі великих даних і не вимагає від користувача спеціальних технічних навичок.

Петабайт даних – це надзвичайно цінний ресурс

Додайте можливості Splunk Enterprise в Hadoop*. Аналітичне рішення Splunk для Hadoop (Splunk Analytics for Hadoop) забезпечує легкі у використанні засоби пошуку та аналізу даних Hadoop як частини системи Splunk Enterprise. Splunk Analytics for Hadoop забезпечує можливості швидкого виявлення повторюваних моментів і аномалій в петабайті необроблених даних в Hadoop без необхідності їх переміщення або копіювання з одного джерела на інше.

Що таке Hadoop?

*Hadoop – це проект з відкритим вихідним кодом, що знаходиться під управлінням Apache Software Foundation. Hadoop використовується для надійних, масштабованих і розподілених обчислень, а також може застосовуватися як сховище файлів загального призначення, здатне вмістити близько петабайт даних. Багато компаній використовують Hadoop в дослідницьких і виробничих цілях.

Hadoop складається з двох ключових компонентів:

• Розподілена файлова система Hadoop (англ. HDFS), яка відповідає за зберігання даних на кластері Hadoop;
• Система MapReduce, призначена для обчислень і обробки великих обсягів даних на кластері.

HDFS

HDFS, або Розподілена файлова система Hadoop – це основна система зберігання даних, яка використовується додатками Hadoop. HDFS багаторазово копіює блоки даних і розподіляє ці копії з обчислювальних вузлів кластера, тим самим забезпечуючи високу надійність і швидкість обчислень:

• Дані розподіляються по декількох машинах під час завантаження;
• HDFS оптимізована більше для виконання потокових зчитувань файлів, ніж для нерегулярних, довільних зчитувань;
• Файли в системі HDFS пишуться одноразово і внесення довільних записів в файли не допускається;
• Додатки можуть зчитувати і писати файли розподіленої файлової системи безпосередньо через програмний інтерфейс Java.

MapReduce

MapReduce – це модель програмування і каркас для створення програмного забезпечення, призначеного для високошвидкісної обробки великих обсягів даних на великих паралельних кластерах обчислювальних вузлів:

• Забезпечує автоматичний розподіл завдань;
• Має вбудовані механізми збереження стійкості і працездатності при збої окремих елементів;
• Забезпечує чистий рівень абстракції для програмістів.

Використання Hunk: Splunk Analytics for Hadoop надає користувачам такі переваги:

• Дозволяє в інтерактивному режимі здійснювати запит необроблених даних, переглядати отримані результати і уточнювати пошук за допомогою єдиного інтерфейсу Splunk Enterprise;
• Дозволяє швидко створювати діаграми, графіки і панелі моніторингу та ділитись ними з відповідальними особами;
• Забезпечує безпеку за допомогою рольового управління доступом і наскрізної перевірки автентичності розподіленої файлової системи HDFS;
• Splunk Analytics for Hadoop має вбудовану підтримку Apache Hadoop і Amazon EMR, Cloudera CDH, Hortonworks Data Platform, IBM InfoSphere BigInsights, MapR M-series і Pivotal HD;
• Дане рішення надає змогу працювати з будь-яким типом даних.

Splunk Hunk є універсальним клієнтом для Hadoop, який використовує інтуїтивно зрозумілий інтерфейс Splunk і інтерактивний інструмент побудови звітності Pivot, за допомогою якого бізнес-користувачі можуть створювати звіти всього за кілька кліків.

Ви можете замовити консультацію та тестування цього або будь-якого іншого рішення від компанії Splunk за лічені хвилини:

Замовити рішення

Пишіть нам, і ми проконсультуємо Вас, проведемо у Вас пілотний проект, надамо Вам інформацію про всі ціни і терміни виконання робіт та захистимо Вашу інформацію!

Отримати додаткову інформацію щодо рішень компанії Ви можете також за номерами +380 50 705 8224 та +380 67 589 42 70 або по електронній пошті sales@mogroup.com.ua

Даний матеріал підготовлений спеціалістами MO Group на базі публікацій закордонної преси.