Мы рады сообщить, что Spring for Apache Hadoop версии 2.0 теперь GA.
Поддерживаются Hadoop v2.0 и YARN с поддержкой совместимости с Hadoop v1.0
Прошло более года с тех пор, как вышел Spring for Apache Hadoop 1.0. Spring был частью VMware на тот момент. Spring for Apache Hadoop 1.0 поддерживал Hadoop 1.0.4 and 1.1.1, но не последние 2.0 альфа версии. Многое изменилось с тех пор. Spring теперь является частью Pivotal, который объединяет нас большим количеством open source технологий. Apache Hadoop был выпущен в нескольких версиях, включая 2.2.0, содержащий YARN фреймворк. Поэтому, вполне естественно, что проект Spring for Apache Hadoop также развивался. Spring for Apache Hadoop 2.0 включает основные направления:
- поддержка новых версий и дистрибутивов, таких как
- Apache Hadoop 2.2.0, 2.4.0
- Pivotal HD 2.0
- Cloudera CDH 5
- Hortonworks HDP 2.1
- поддержка совместимости с Hadoop v1.0
- предоставление отличной модели программирования YARN приложений
- добавлены новые возможности, такие как
- новые инструменты для чтения и записи HDFS данных
- новая поддержка чтения и записи POJO Datasets с использованием Kite SDK
У нас есть примеры приложений, которые показывают, как использовать большинство необходимых возможностей. Также есть несколько учебных материалов для разработки Spring YARN приложений.
Основным направлением Spring for Apache Hadoop 2.0 GA является текущий Apache Hadoop v2 стабильный релиз, начиная с 2.2.0. Эта версия используется для переходных зависимостей 2.0.0.RELEASE.
Для других версий и дистрибутивов мы продолжаем предоставлять специфичные артефакты с их соответствующими переходными зависимостями в репозитории Spring IO:
- 2.0.0.RELEASE (default — Apache Hadoop stable 2.2.0)
- 2.0.0.RELEASE-hadoop24 (Apache Hadoop latest 2.4.0)
- 2.0.0.RELEASE-hadoop12 (Apache Hadoop stable 1.2.1)
- 2.0.0.RELEASE-phd1 (Pivotal HD 1.1)
- 2.0.0.RELEASE-phd20 (Pivotal HD 2.0)
- 2.0.0.RELEASE-cdh4 (Cloudera CDH4 MR1)
- 2.0.0.RELEASE-cdh5 (Cloudera CDH5 YARN)
- 2.0.0.RELEASE-hdp13 (Hortonworks HDP 1.3)
- 2.0.0.RELEASE-hdp20 (Hortonworks HDP 2.0)
- 2.0.0.RELEASE-hdp21 (Hortonworks HDP 2.1)
Инструкции, как собрать с этими версиями смотрите на wiki-странице.
Версии для Apache Hadoop 2.2.0, 2.4.0 и 1.2.1 доступны в репозитории Maven Central.
Более подробную информацию смотрите на странице проекта.
SpringOne 2GX 2014 уже совсем скоро!
Бронируйте места на SpringOne in Dallas, TX на период 8-11 сентября. Это просто самый лучший способ узнать из первых рук все, что происходит и получить ответы напрямую. Там будут глубокие обсуждения Spring for Apache Hadoop наряду с общими разговорами о Big Data, чтобы ближе познакомиться со всеми возможностями и проблемами при разработке Big Data приложений.