Alluxio 常用shell命令总结

alluxio命令有很多这里不一一介绍, 介绍几个常用的。

Alluxio 常用shell命令总结

1.Alluxio中的挂载

将hdfs目录挂在到Alluxio中,再使用alluxio去操作。

这个特性允许用户挂载不同的存储系统到Alluxio命名空间中并且通过Alluxio命名空间无缝地跨存储系统访问文件。

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /

drwxr-xr-x hadoop hadoop 18 PERSISTED 01-10-2018 13:02:18:321 DIR /default_tests_files

drwxr-xr-x hadoop hadoop 1 PERSISTED 01-18-2018 14:51:18:328 DIR /home

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /

drwxr-xr-x hadoop hadoop 18 PERSISTED 01-10-2018 13:02:18:321 DIR /default_tests_files

drwxr-xr-x hadoop hadoop 1 PERSISTED 01-18-2018 14:51:18:328 DIR /home

#挂载HDFS 目录

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs mount /kyrie-mnt/ hdfs://nameservice1/kyrie

Mounted hdfs://nameservice1/kyrie at /kyrie-mnt

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /kyrie-mnt

-rw-r--r-- hadoop supergroup 2329875 PERSISTED 02-01-2018 17:29:02:607 0% /kyrie-mnt/a9a.train

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:609 DIR /kyrie-mnt/linearregression

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:611 DIR /kyrie-mnt/log

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:612 DIR /kyrie-mnt/log2

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:614 DIR /kyrie-mnt/model

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:615 DIR /kyrie-mnt/model2

2.加速访问

由于Alluxio利用内存存储数据,它可以加速数据的访问 。

使用load 文件加载到内存。

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /kyrie-mnt

-rw-r--r-- hadoop supergroup 2329875 PERSISTED 02-01-2018 17:29:02:607 0% /kyrie-mnt/a9a.train

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:609 DIR /kyrie-mnt/linearregression

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:611 DIR /kyrie-mnt/log

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:612 DIR /kyrie-mnt/log2

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:614 DIR /kyrie-mnt/model

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:615 DIR /kyrie-mnt/model2

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs load /kyrie-mnt/a9a.train

/kyrie-mnt/a9a.train loaded

[172.20.42.3:hadoop@sz-pg-mc-test-004:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /kyrie-mnt

-rw-r--r-- hadoop supergroup 2329875 PERSISTED 02-01-2018 17:29:02:607 100% /kyrie-mnt/a9a.train

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:609 DIR /kyrie-mnt/linearregression

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:611 DIR /kyrie-mnt/log

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:612 DIR /kyrie-mnt/log2

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:614 DIR /kyrie-mnt/model

drwxr-xr-x hadoop supergroup 0 PERSISTED 02-01-2018 17:29:02:615 DIR /kyrie-mnt/model2

3 持久化

persist命令将Alluxio中的数据持久化到底层文件系统中。该命令是对数据的操作,因而其执行时间取决于该文件的大小。在持久化结束后,该文件即在底层文件系统中有了备份,因而该文件在Alluxio中的数据块被剔除甚至丢失的情况下,仍能够访问。

[172.20.42.1:hadoop@sz-pg-mc-test-002:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /kyrie-mnt/log

-rw-r--r-- hadoop supergroup 1376 PERSISTED 02-05-2018 14:15:00:085 100% /kyrie-mnt/log/log

drwxr-xr-x hadoop hadoop 3 NOT_PERSISTED 02-05-2018 14:24:21:285 DIR /kyrie-mnt/log/log2

[172.20.42.1:hadoop@sz-pg-mc-test-002:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs persist /kyrie-mnt/log/log2

persisted file /kyrie-mnt/log/log2/_SUCCESS with size 0

persisted file /kyrie-mnt/log/log2/part-00001 with size 1400

persisted file /kyrie-mnt/log/log2/part-00000 with size 1454

[172.20.42.1:hadoop@sz-pg-mc-test-002:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$ ./bin/alluxio fs ls /kyrie-mnt/log

-rw-r--r-- hadoop supergroup 1376 PERSISTED 02-05-2018 14:15:00:085 100% /kyrie-mnt/log/log

drwxr-xr-x hadoop hadoop 3 PERSISTED 02-05-2018 14:24:21:285 DIR /kyrie-mnt/log/log2

[172.20.42.1:hadoop@sz-pg-mc-test-002:/home/hadoop/alluxio-1.6.1-hadoop-2.6]$

4.一致性校验

checkConsistency命令会对比一给定路径下Alluxio以及底层存储系统的元数据,如果该路径是一个目录,那么其所有子内容都会被对比。该命令返回包含所有不一致的文件和目录的列表,系统管理员决定是否对这些不一致数据进行调整。为了防止Alluxio与底层存储系统的元数据不一致,应将你的系统设置为通过Alluxio来修改文件和目录,而不是直接访问底层存储系统进行修改。

如果使用了-r选项,那么checkConsistency命令会去修复不一致的文件或目录,对于只存在底层存储的文件或者文件夹会从Alluxio中删除,对于在底层文件系统中, 但是,文件内容发生变化的文件,该文件的元数据会重新load到Alluxio。

注意:该命令需要请求将要被检查的目录子树的读锁,这意味着在该命令完成之前无法对该目录子树的文件或者目录进行写操作或者更新操作。

Alluxio 常用shell命令总结


分享到:


相關文章: