Введение

Spring XD представляет собой единую, распределенную и масштабируемую систему приема данных, аналитики в режиме реального времени, пакетной обработки и экспорта данных. Цель проекта заключается в упрощении разработки больших приложений данных.

Big Data приложения имеют много общих характеристик с приложениями бизнес-интеграции и пакетной обработки данных. Spring предлагает проверенные решения для построения приложений уже более 6 лет через Spring Integration и Spring Batch проекты. Spring XD основана на этих проектах и предлагает легковесную среду выполнения, которая легко настраивается и собирается с помощью простого DSL.

Экосистема Spring предоставляет прекрасную основу для построения Big Data приложений. Проект Spring XD нацелен на создание на её основе и предлагает отступить от приобретения необходимых решений в данном случае. Это отличает от многих других решений, которые являются более разрозненными и фрагментированными. Одна из первых возможностей - это создание "из коробки" сервера, являющийся единой ностроенной конфигурацией четырех инструментов, описанных выше, из чего представляет собой Spring XD.

Вам не нужно писать код, чтобы начать работать, не нужно выполнять скрипты, не нужна IDE, не нужно быть экспертом. Вы можете использовать высокоуровневую конфигурацию DSL (не XML!), что позволит вам с минимум телодвижением приступить к работе. Однако, если вы решите расширять платформу (а мы на это надеемся), Spring предлагает для этого необходимую платформу.

Для любопытных, XD это сокращение от eXtreme Data

Возможности

• Высокая пропускная способность распределения данных из различных источников в хранилища большого объема информации, таких как HDFS и Splunk
• аналитика в режиме реального времени, например, сбор метрик и подсчет значений
• Управление рабочим процессом через пакетные задачи. Задачи сочетают в себе взаимодействие со стандартными бизнес-системами(например, RDBMS), а также Hadoop операциями (например, MapReduce, HDFS, Pig, Hive or Cascading)
• Высокая пропускная способность передачи данных на экспорт, например, из HDFS в RDBMS или NoSQL СУБД

Быстрый старт

Требования

• Чтобы приступить к работе, убедитесь, что в системе установлена JDK как минимум 6 версии или новее. Рекомендуется JDK 7.

Ручная установка

• Загрузите spring-xd-1.0.1.RELEASE.zip
• Распакуйте архив. В результате появится каталог spring-xd-1.0.1.RELEASE. Все команды, описанные ниже, выполняются в этой директории
• Установите переменную окружения XD_HOME со значением <root-install-dir>\spring-xd\xd

Установка через OSX Homebrew

Если у вас Mac и вы используете homebrew, для установки Spring XD выполните следующее:

$ brew tap pivotal/tap
$ brew install springxd

Homebrew установит springxd в /usr/local/bin. Теперь вы можете перейти к использованию Spring XD:

$ xd-singlenode

Spring Boot включает в себя инструменты командной строки, чтобы вы могли быстро создать прототип Spring-приложения, к примеру. Это позволяет вам запускать Groovy скрипты, которые имеют Java-подобный синтаксис, по сути - небольшие шаблоны кода. Следуйте инструкциям в основной документации, если хотите установить Spring Boot CLI.

Создание потока

• Запуск проекта: Одного узла достаточно, чтобы просто начать работу. Он содержит все необходимое для одного процесса. Чтобы запустить его, вам просто нужно перейти в xd каталог и выполнить команду: xd/bin>$ ./xd-singlenode
• Запустите XD Shell: ./xd-shell
• Создайте первый поток, введите: xd:> stream create --definition "time | log" --name ticktock --deploy