Які параметри WebHDFS REST API у HDFS?

Він визначає публічний HTTP REST API, який дозволяє клієнтам отримувати доступ до HDFS через Інтернет. Клієнти можуть використовувати такі звичайні інструменти, як curl/wget для доступу до HDFS. WebHDFS надає веб-службам доступ до даних, що зберігаються в HDFS.

API REST веб-служби Hadoop YARN є набір ресурсів URI, які надають доступ до кластера, вузлів, додатків та історичної інформації додатків.

Це порт, на якому Name Node прослуховує HTTP-запити WebHDFS. Цей порт є типовим 5870 або 50070залежно від дистрибутивів Hadoop.

Типова URL-адреса WebHDFS REST виглядає так: http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=<OP>

WebHDFS і HttpFS по суті забезпечують однакові функції. Використання WebHDFS або HttpFS усуває потребу у файлах JAR на стороні клієнта для HDFS, але файли JAR все ще потрібні для надсилання програм MapReduce і програм мови Pig. Крім того, ви повинні зробити конфігураційні файли Hadoop доступними для клієнта SAS.