Теперь, когда вышел Spring for Apache Hadoop 2.0 GA, я хотел бы воспользоваться этой возможностью и представить наши новые Spring IO учебные материалы по созданию Hadoop YARN приложений.
У нас есть общие руководства по работе с Spring YARN, используя Gradle или Maven. Наши материалы разработаны для возможности работы с любой из этих систем сборок.
Эти два руководства демонстрируют создание «hello world»-подобного приложения с минимальным количеством кода. Поведение этих приложений идентично, за исключением их структуры. Пока что, большинство наших материалов основано с учетом различных структур, и конечно, создание приложений с использованием Spring YARN не ограничивает вас в этом. Следующие материалы демонстрируют, как можно создать приложение на основе одного проекта.
Spring YARN содержит первоклассную поддержку тестирования YARN приложений. Целью этого руководства является демонстрация того, как можно протестировать небольшое приложение с использованием мини-кластеров Hadoop в ваших тестах. Вам не требуется для этого иметь запущенный Hadoop.
Последние два руководства показывают, как с использованием Spring Batch выполнить работу Hadoop YARN по шагам. Второе руководство показывает, как невыполненное Spring Batch задание может быть перезапущено и как только возобновится работа, продолжить выполнение Hadoop YARN.