大数据平台及编程实践B
简介
主要是介绍一些大数据方面的知识
课后作业
这里每个作业都要交一个实验报告
实验一: Linux 操作和Hadoop 安装
- 准备一台Linux（Ubuntu）系统的机器。没有多余的机器可以在windows机器上先安装vmware，然后创建一台Linux虚拟机，实验可以在这台虚拟机上完成。此处上传linux的终端操作的截图
- 在Linux机器上安装Hadoop。此处上传安装成功后的截图https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
实验二 HDFS文件系统
动手实践教材第3章3.4、3.5的HDFS文件系统操作和编程案例
实验三 Mapreduce 单词计数
- 编写Mapreduce 单词计数程序，并在hadoop上成功执行
- （软卓班做）编写矩阵乘法mapreduce 程序，并在hadoop上运行
实验四：Hadoop集群
三个人一个小组，用至少三台电脑搭建一个Hadoop集群；并在该集群上成功运行wordcount。此处粘贴Web端作业成功运行截图，并提交实验报告
实验六：PageRank的Hadoop实验
根据课上的pagerank随机游走模型，在Hadoop上实现网页排名。文件格式可自定义