Spark WordCount 问题分析与修复
故障现象:mvn 命令未找到、网络不通、settings.xml 语法错误、下载 404 / 证书报错
IDEA 没识别到 Spark 依赖(我的版本:虚拟机(VM)+ JDK1.8 + Scala2.11.8 + Spark2.1.0)
豆包给我的解决方案:
立刻解决:找不到 spark
1. 刷新 Maven 依赖(最关键)
在 IDEA 右侧点开 Maven 面板 → 点击 刷新图标(Reload All Maven Projects)让 IDEA 重新下载并识别 Spark。
2. 检查项目的 Scala 版本(必须 2.11.8)
File → Project Structure → Global Libraries确保你的 Scala SDK 是 2.11.8
按照豆包的步骤来走,显示Spark 依赖已经正常加载(能看到 spark-core_2.11:2.1.0 等 jar),但代码仍报错,说明是 代码写法与 Spark 2.1.0 不兼容 或 IDEA 索引未刷新。

到这里,我已经怀疑是网络的问题了。

走到
mvn clean
执行 mvn clean 时报错:bash: mvn: 未找到命令,系统未安装 Maven。尝试通过系统源安装 Maven,失败并提示无法解析域名,判定为虚拟机网络不通。
1. 先在 VMware 里改网卡模式
关掉虚拟机,打开:虚拟机设置 → 网络适配器
选择:NAT 模式(推荐)不要用桥接,桥接在校园网 / 公司网很容易不通。
然后开机。
2. 进入系统,直接复制这一条命令
sudo bash -c 'cat > /etc/resolv.conf <<EOF
nameserver 223.5.5.5
nameserver 114.114.114.114
EOF'
然后输入你的 hadoop 密码。
3. 再重启网络服务
sudo service network restart
(Fedora 21 老命令)
4. 测试能不能上网
ping www.baidu.com
如果能出现字节来回 = 网通了 ✅
(5. 网通后直接装 Maven就可以了
cd ~
wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
但是我还是ping不通。(显示:ping: unknown host mirrors.tuna.tsinghua.edu.cn)
ifconfig
cat /etc/resolv.conf
运行以上代码后发现

现在 只有 IPv6 地址,没有 IPv4 地址,所以上不了网。inet6 fe80::20c:29ff:fea9:27d5是本地 IPv6,没用,上不了外网,是 VMware 的虚拟网卡炸了。
① 先关掉 dhclient 进程
sudo pkill dhclient
② 打开 VMware 的「虚拟网络编辑器」
- 关闭你的虚拟机
- 打开 VMware 左上角 编辑 → 虚拟网络编辑器
- 点右下角 【更改设置】(必须点,获取管理员权限)
- 在列表里找到 VMnet8 (NAT 模式)
- 点 【还原默认设置】
- 等待它重置完成 → 点确定
③ 重启虚拟机
开机登录后,直接运行:
sudo dhclient eno16777736
然后查看 IP:
ifconfig
必须出现类似这样的 IPv4 地址才算成功:inet 192.168.xxx.xxx

现在终于拿到 IPv4 地址了inet 192.168.71.128网已经通了 ✅
现在直接下载 Maven
cd ~
wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
但是现在有证书问题。

证书问题是因为我的 Fedora 21 太老,加个参数跳过证书检查就能下载。
无证书检查下载 Maven
wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz

下载完后,执行安装
tar -zxvf apache-maven-3.5.4-bin.tar.gz
sudo mv apache-maven-3.5.4 /usr/local/
sudo ln -s /usr/local/apache-maven-3.5.4 /usr/local/maven
sudo bash -c 'echo "export MAVEN_HOME=/usr/local/maven" >> /etc/profile'
sudo bash -c 'echo "export PATH=\$MAVEN_HOME/bin:\$PATH" >> /etc/profile'
source /etc/profile
最后测试
mvn -v
出现版本信息 = Maven 安装成功 ✅
如果出现:
已发出 HTTP 请求,正在等待回应... 404 Not Found
2026-04-03 12:53:05 错误 404:Not Found
......
使用绝对可用、100% 能下载的官方地址
wget --no-check-certificate https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
输出显示:
Apache Maven 3.5.4
Java version: 1.8.0_91
系统、路径全部正常
最终完全解决,可以正常运行。
更多推荐


所有评论(0)