试题说明:
一家新闻网站,正在订制app。该网站的主要业务就是每天发布新闻。新闻包括文字、图片、音视频。该网站负责人委托你来设计文件系统。需求如下:
1、 采用分布式文件系统
2、 多媒体文件需要按日期、类型保存到HDFS对应的文件夹 后缀名Jpg为图片文件,wav的是音频文件,txt是文本文件。 日期为文件名前十位。
hadoop fs -mkdir /2020-02-01
hadoop fs -mkdir /2020-02-02
hadoop fs -mkdir /2020-02-01/txt.txt
hadoop fs -mkdir /2020-02-01/wav.wav
hadoop fs -mkdir /2020-02-01/jpg.jpg
hadoop fs -mkdir /2020-02-02/jpg.jpg
hadoop fs -mkdir /2020-02-02/wav.wav
hadoop fs -mkdir /2020-02-02/txt.txt
hadoop fs -put 2020-02-01_01.txt /2020-02-01/txt.txt
hadoop fs -put 2020-02-01_01.wav /2020-02-01/wav.wav
hadoop fs -put 2020-02-01_08.jpg /2020-02-01/jpg.jpg
hadoop fs -put 2020-02-02_01.wav /2020-02-02/wav.wav
hadoop fs -put 2020-02-02_07.jpg /2020-02-02/jpg.jpg
3、 下载2020-02-01 所有的图片文件至本地文件系统的家目录。
hadoop fs -copyToLocal /2020-02-01/jpg.jpg ~/
ls jpg.jpg
4、 在hdfs中查看 2020-02-01_01.txt文件的内容
hadoop fs -cat /2020-02-01/txt.txt/2020-02-01_01.txt
5、 多媒体文件的描述信息需要保存进列式数据库中
Start-hbase.sh
hbase shell
create ‘jw2019443719’,‘file’,‘creat’
put ‘jw2019443719’,‘0001’,‘file:ID’,‘2020020101txt’
put ‘jw2019443719’,‘0001’,‘file:Type’,‘Txt’
put ‘jw2019443719’,‘0001’,‘file:Path’,’/2020_02_01/txt/2020-02-01_01.txt’
put ‘jw2019443719’,‘0001’,‘creat:Creator’,‘jw’
put ‘jw2019443719’,‘0001’,‘creat:Create-date’,‘2020-02-01’
put ‘jw2019443719’,‘0002’,‘file:ID’,‘20200201jpg’
put ‘jw2019443719’,‘0002’,‘file:Type’,‘jpg’
put ‘jw2019443719’,‘0002’,‘file:Path’,‘2020-02-01/jpg.jpg/2020-02-01_08.jpg’
put ‘jw2019443719’,‘0002’,‘creat:Creator’,‘jw’
put ‘jw2019443719’,‘0002’,‘creat:Create-date’,‘2020-02-01’
6、 查看全表所有数据
scan ‘jw2019443719’