家里闲置 HP4CORE4GB 笔记本一台, 还是 SSD 内存, 可不想浪费. 所以计划用来做一套 Hadoop 实验环境.
准备好的软件包括:
- CentOS 7 .7 (CentOS-7-x86_64-DVD-1908)
- Hadoop 2.9.2
- HIVE 2.3.6
- SQOOP 1.4.7
- JDK 8 (jdk-8u241-Linux-x64)
主要目标为:
1. 重装笔记本电脑的操作系统到 CentOS, 并完成基础环境配置.
2. Hadoop 环境搭建和启动, 能够使用 HIVE 和 SQOOP 工具进行数据抽取和数据操作.
操作日志:(这里主要记录过程和碰到的坑, 另外准备整理文章来记录详细操作和关键命令)
1. 准备:
笔记本电脑原操作系统为 Windows7, 重装系统前, 要做好资料备份, 下载各种安装介质, 最重要的是制作安装启动盘. 使用 UltraIOS 制作优盘启动盘, 8GB 以上的优盘肯定够用, CentOS7.7 安装介质镜像大约是 4.4GB, 这一步都还比较顺利.
2. 安装
配置 BIOS 启动顺序, 使用优盘启动进入安装界面后, 坑来了. 选择安装方式, 包括很多种类, 最开始选择的最小化安装, 但碰到最大的问题是, 安装后, 无线网卡无法使用. 然后选择不带 GUI 的服务器模式, 问题依旧. 尝试自行配置无线网卡来解决, 无奈失败. 最后选择带 GUI 的服务器模式, 终于能够连上 Wi-Fi 了. 所以, 强烈建议是: 在笔记本电脑上安装 CentOS 时, 一定要选择使用图形界面, 不然缺少很多必要的驱动程序.
图形界面比较占用内存, 所以安装成功后, 还需要修改系统默认启动方式为命令行界面, 这样以后打开电源键, 之后就可以不管了. 需要使用时, 直接通过其他机器通过 SSH 方式连接控制即可.
至此, CentOS 安装配置完毕.
3. Hadoop 安装
这类安装的文章一搜一大把, 照着资料做即可, 到没有什么困难. 但关于硬件资源要提一提, 之前本来想把 Hadoop 环境搭建到自己的阿里云服务器上. 但自己的服务器配置只有 1CORE1GB, 安装到没问题, 但只要一启动, 即使调整配置的启动资源, 仍然会把云服务器撑死机. 原因是最便宜的阿里云机器, 只可以使用 20% 一下的 CPU 资源, 一旦长时间超过 20%, 就会变得很卡顿. 所以要么购买更高配置的云服务器, 要么就只能使用自己的机器.
另外要提一点, 默认的 CentOS7, 使用的是 firewall 而非 iptables, 所以启动服务器后, 配置防火墙的方式和网上很多文章不同, 也花了不少时间才发现和解决.
- https://www.cnblogs.com/hupingzhi/p/12286572.html
- https://www.cnblogs.com/hupingzhi/p/12286583.html
- https://www.cnblogs.com/hupingzhi/p/12286630.html
- https://www.cnblogs.com/hupingzhi/p/12286638.html
- https://www.cnblogs.com/hupingzhi/p/12286640.html
来源: http://www.bubuko.com/infodetail-3412676.html