调用 moveToTrash()才进入回收站 Trash trash = New Trash(conf); trash.moveToTrash(path); 7）只有在命令行利用 hadoop fs -rm 命令删除的文件才会走回收站。 [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /user/atguigu/input –python 人工智能资料下载，可百度访问：尚硅谷官网 3.3 集群数据均衡之磁盘间数据均衡 生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可 以执行磁盘数据均衡命令。（Hadoop3.x 新特性） （1）生成均衡计划（我们只有一块磁盘，不会生成计划） hdfs diskbalancer -plan hadoop103 （2）执行均衡计划 hdfs 另一种情况，就是新服役的服务器数据量比较少，需要执行集群均衡命令。 2）开启数据均衡命令： [atguigu@hadoop105 hadoop-3.1.3]$ sbin/start-balancer.sh - threshold 10 对于参数 10，代表的是集群中各个节点的磁盘空间利用率相差不超过 10%，可根据实 际情况进行调整。 3）停止数据均衡命令： [atguigu@hadoop105

（3）注意：如果 Linux 安装的是最小系统版，还需要安装如下工具；如果安装的是 Linux 桌面标准版，不需要执行如下操作 ➢ net-tool：工具包集合，包含 ifconfig 等命令 [root@hadoop100 ~]# yum install -y net-tools ➢ vim：编辑器 [root@hadoop100 ~]# yum install -y vim useradd atguigu [root@hadoop100 ~]# passwd atguigu 4）配置 atguigu 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令 [root@hadoop100 ~]# vim /etc/sudoers 修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示： ## Allow root to /etc/profile 6）测试是否安装成功 [atguigu@hadoop102 hadoop-3.1.3]$ hadoop version Hadoop 3.1.3 7）重启（如果 Hadoop 命令不能用再重启虚拟机） [atguigu@hadoop102 hadoop-3.1.3]$ sudo reboot 2.5 Hadoop 目录结构 1）查看 Hadoop 目录结构 [atguigu@hadoop102

2012-2021 UCloud 优刻得 6/12 注解： 1. 需要在执⾏此命令机器加上集群所有节点host 2. 若提⽰Operation category READ is not supported in state standby，请更换uhadoop-******-master2尝试 执⾏上述命令将获取到Location地址，即⽂件的Datanode地址 HTTP/1.1 307 7/12 curl -i -X POST "http://uhadoop-hfygbg-master1:50070/webhdfs/v1/tmp/uhadoop.txt?op=APPEND" 执⾏上述命令将获取到Location地址，即⽂件的Datanode地址 HTTP/1.1 307 TEMPORARY_REDIRECT Location: http://:/webhdfs/v1/ master1:14000/webhdfs/v1/tmp/httpfs_uhadoop.txt?op=CREATE&user.name=root&data=true" 注解： 1. 需要在执⾏此命令机器加上集群master1的host 2. url中需添加user.name，否则会报"HTTP Status 401 - Authentication required"错误 2.3.2 append⽂件

Datahub MaxCompute 配套的流式数据接入服务，粗略地类似 kafka，能够通过简单配置归档 topic 数据到 MaxCompute 表 用户接口 CLT/SDK 统一的命令行工具和 JAVA/PYTHON SDK 开发&诊断 Dataworks/Studio/Logview 配套的数据同步、作业开发、工作流编排调度、作业运维 及诊断工具。开源社区常见的 Sqoop、Kettle、Ozzie queue，如同客户的 hive 集群上没有 default queue，就需要客户指定队列名称，方法如下： ① 使用 hadoop queue -showacls | grep SUBMIT 命令查看 queue name ② 修改 odps-data-carrier/extra-settings.ini，添加 mapreduce.job.queuename=root.hadoop py 生成 odps 表和分区 执行：python3 odps-data-carrier/bin/odps_ddl_runner.py --input processed 可以看到，这个命令自动生成了对应的表和 partition，之后我们用 odpscmd 工具 进行验证： 可以看到 MaxCompute 中的表已经建好了，之后我们在看下分区： Alibaba Cloud