Spring for Apache Hadoop | Spring по-русски!

Возможности

Поддержка создания Hadoop-приложений, чтобы сконфигурировать через DI и запустить как стандартное Java-приложение, а не через Hadoopиструменты командной строки

Создание и настройка приложений с использованием Java MapReduce, Streaming, Hive, Pig, Cascading или HBase

Расширения Spring Batch, позволяющие создавать Hadoop процессы для любого типа Hadoop Job или HDFS операций

Написание скриптов для выполнения HDFS операций через любой скриптовый JVM-язык

Поддержка DAO(Template & Callbacks) для Hbase

Cascading Taps для Spring & Spring интеграции

Поддержка Hadoop Security

Версии и поддержка дистрибутивов

Spring for Apache Hadoop поддерживает некоторое количество Apache-дистрибутивов, а также несколько коммерческих.

Apache Hadoop 1.2.1 stable

Apache Hadoop 2.0.6-alpha

Apache Hadoop 2.2.0 stable

Cloudera CDH4

Hortonworks HDP 1.3

Pivotal HD 1.0 and 1.1

Подробное описание о сборке Maven'ом смотрите в wiki.

Сборки CI для большинства поддерживаемых версий вы можете посмотреть сдесь.

Быстрый старт

Рекомендованный путь для начального использования spring-hadoop в вашем проекте с использованием системы управления зависимостями – скопировать фрагмент кода ниже и вставить в вашу конфигурацию сборки. Нужна помощь? Ознакомьтесь с нашими руководствами по созданию приложений с использованием Maven и Gradle.

<dependencies>
    <dependency>
        <groupId>org.springframework.data</groupId>
        <artifactId>spring-data-hadoop</artifactId>
        <version>2.0.1.RELEASE</version>
    </dependency>
</dependencies>

<dependencies>
    <dependency>
        <groupId>org.springframework.data</groupId>
        <artifactId>spring-data-hadoop</artifactId>
        <version>1.0.2.RELEASE</version>
    </dependency>
</dependencies>

dependencies {
    compile("org.springframework.data:spring-data-hadoop:2.0.1.RELEASE")
}

dependencies {
    compile("org.springframework.data:spring-data-hadoop:1.0.2.RELEASE")
}