Компанія Splunk створила продукт Hunk, призначений для обробки і аналізу масивів даних прямо всередині Hadoop, який забезпечує гнучкість і швидкість при аналізі великих даних і не вимагає від користувача спеціальних технічних навичок.
Петабайт даних – це надзвичайно цінний ресурс
Додайте можливості Splunk Enterprise в Hadoop*. Аналітичне рішення Splunk для Hadoop (Splunk Analytics for Hadoop) забезпечує легкі у використанні засоби пошуку та аналізу даних Hadoop як частини системи Splunk Enterprise. Splunk Analytics for Hadoop забезпечує можливості швидкого виявлення повторюваних моментів і аномалій в петабайті необроблених даних в Hadoop без необхідності їх переміщення або копіювання з одного джерела на інше.
Що таке Hadoop?
*Hadoop – це проект з відкритим вихідним кодом, що знаходиться під управлінням Apache Software Foundation. Hadoop використовується для надійних, масштабованих і розподілених обчислень, а також може застосовуватися як сховище файлів загального призначення, здатне вмістити близько петабайт даних. Багато компаній використовують Hadoop в дослідницьких і виробничих цілях.
Hadoop складається з двох ключових компонентів:
- Розподілена файлова система Hadoop (англ. HDFS), яка відповідає за зберігання даних на кластері Hadoop;
- Система MapReduce, призначена для обчислень і обробки великих обсягів даних на кластері.
HDFS
HDFS, або Розподілена файлова система Hadoop – це основна система зберігання даних, яка використовується додатками Hadoop. HDFS багаторазово копіює блоки даних і розподіляє ці копії з обчислювальних вузлів кластера, тим самим забезпечуючи високу надійність і швидкість обчислень:
- Дані розподіляються по декількох машинах під час завантаження;
- HDFS оптимізована більше для виконання потокових зчитувань файлів, ніж для нерегулярних, довільних зчитувань;
- Файли в системі HDFS пишуться одноразово і внесення довільних записів в файли не допускається;
- Додатки можуть зчитувати і писати файли розподіленої файлової системи безпосередньо через програмний інтерфейс Java.
MapReduce
MapReduce – це модель програмування і каркас для створення програмного забезпечення, призначеного для високошвидкісної обробки великих обсягів даних на великих паралельних кластерах обчислювальних вузлів:
- Забезпечує автоматичний розподіл завдань;
- Має вбудовані механізми збереження стійкості і працездатності при збої окремих елементів;
- Забезпечує чистий рівень абстракції для програмістів.
Використання Hunk: Splunk Analytics for Hadoop надає користувачам такі переваги:
- Дозволяє в інтерактивному режимі здійснювати запит необроблених даних, переглядати отримані результати і уточнювати пошук за допомогою єдиного інтерфейсу Splunk Enterprise;
- Дозволяє швидко створювати діаграми, графіки і панелі моніторингу та ділитись ними з відповідальними особами;
- Забезпечує безпеку за допомогою рольового управління доступом і наскрізної перевірки автентичності розподіленої файлової системи HDFS;
- Splunk Analytics for Hadoop має вбудовану підтримку Apache Hadoop і Amazon EMR, Cloudera CDH, Hortonworks Data Platform, IBM InfoSphere BigInsights, MapR M-series і Pivotal HD;
- Дане рішення надає змогу працювати з будь-яким типом даних.
Splunk Hunk є універсальним клієнтом для Hadoop, який використовує інтуїтивно зрозумілий інтерфейс Splunk і інтерактивний інструмент побудови звітності Pivot, за допомогою якого бізнес-користувачі можуть створювати звіти всього за кілька кліків.
Ви можете замовити консультацію та тестування цього або будь-якого іншого рішення від компанії Splunk за лічені хвилини:
Замовити рішення
Пишіть нам, і ми проконсультуємо Вас, проведемо у Вас пілотний проект, надамо Вам інформацію про всі ціни і терміни виконання робіт та захистимо Вашу інформацію!
Отримати додаткову інформацію щодо рішень компанії Ви можете також за номерами +380 50 705 8224 та +380 67 589 42 70 або по електронній пошті sales@mogroup.com.ua
Даний матеріал підготовлений спеціалістами MO Group на базі публікацій закордонної преси.
