Spring for Apache Hadoop
Упрощает использование Apache Hadoop, предоставляя унифицированную модель конфигурирования и простое в использование API для HDFS, MapReduce, Pig и Hive. Также обеспечивает интеграцию с такими проектами Spring, как Spring Integration и Spring Batch.
Быстрый старт

Возможности

  • Поддержка создания Hadoop-приложений, чтобы сконфигурировать через DI и запустить как стандартное Java-приложение, а не через Hadoopиструменты командной строки
  • Создание и настройка приложений с использованием Java MapReduce, Streaming, Hive, Pig, Cascading или HBase
  • Расширения Spring Batch, позволяющие создавать Hadoop процессы для любого типа Hadoop Job или HDFS операций
  • Написание скриптов для выполнения HDFS операций через любой скриптовый JVM-язык
  • Поддержка DAO(Template & Callbacks) для Hbase
  • Cascading Taps для Spring & Spring интеграции
  • Поддержка Hadoop Security

Версии и поддержка дистрибутивов

Spring for Apache Hadoop поддерживает некоторое количество Apache-дистрибутивов, а также несколько коммерческих.

  • Apache Hadoop 1.2.1 stable
  • Apache Hadoop 2.0.6-alpha
  • Apache Hadoop 2.2.0 stable
  • Cloudera CDH4
  • Hortonworks HDP 1.3
  • Pivotal HD 1.0 and 1.1

Подробное описание о сборке Maven'ом смотрите в wiki.

Сборки CI для большинства поддерживаемых версий вы можете посмотреть сдесь.

Быстрый старт

Загрузка
Maven
Gradle

Рекомендованный путь для начального использования spring-hadoop в вашем проекте с использованием системы управления зависимостями – скопировать фрагмент кода ниже и вставить в вашу конфигурацию сборки. Нужна помощь? Ознакомьтесь с нашими руководствами по созданию приложений с использованием Maven и Gradle.

<dependencies>
    <dependency>
        <groupId>org.springframework.data</groupId>
        <artifactId>spring-data-hadoop</artifactId>
        <version>2.0.1.RELEASE</version>
    </dependency>
</dependencies>
comments powered by Disqus
Spring for Apache Hadoop
Версия
Документация