云计算课程报告实验-WordCount算法实验 过程记录

内容描述

 本实验指导书通过在华为鲲鹏上,编译运行WordCount程序。完成实验操作后,读者会掌握简单的程序编写,如WordCount中的getWords、countWords、treeMerge。

实验环境

  1. 华为鲲鹏云主机、openEuler 20.03操作系统;
  2. 安装mpich-3.3.2.tar.gz;
  3. 安装OpenBLAS-0.3.8.tar.gz

 实验过程(含环境配置)

注:所有文件直接上传本地下载好的到云服务器,不用vim编辑。

上传数据文件

创建存放文件夹(四台主机都执行)

sudo mkdir -p project_file/small_file

sudo mkdir -p project_file/big_file

对于run.sh,需要运行:

sed -i 's/\r$//' run.sh

转化其格式

安装mpich-3.3.2

实验用的C++程序,需要mpic++,上个实验只配置了C的,所以要安装g++sudo dnf install gcc-c++)后,重新配置mpic++

进入 MPICH 的源代码目录,在home目录下(cd mpich-3.3.2)

make clean

重新配置 MPICH: 使用以下命令重新配置 MPICH,这次不要使用 --disable-cxx 选项,以便编译和安装 MPI C++ 绑定:

./configure --prefix=/home/mpich-install --disable-fortran

执行以下命令来编译和安装 MPICH:

make

make install

再根据指导书运行命令生成相关文件后,查看:

安装openblas:

先手动创建安装目录:

sudo mkdir -p /usr/local/openblas

解压(该安装包可在网上下载)

tar -zxvf OpenBLAS-0.3.8.tar.gz

cd OpenBLAS-0.3.8

make -j2

sudo make PREFIX=/usr/local/openblas install

sudo chmod -R 777 /usr/local/openblas/

注意:实验文档可能格式有错,s前的符号不对,下面是正确的

sudo ln -s /usr/local/openblas/lib/libopenblas.so /usr/lib/libopenblas.so

设置环境变量

vim ~/.bashrc

原文档CPLUS_ 和 _INCLUDE_PATH 之间有一个空格,这导致了问题。

正确的:

export CPLUS_INCLUDE_PATH=$CPLUS_INCLUDE_PATH:/usr/local/openblas/include

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/openblas/lib

source ~/.bashrc

运行

bash run.sh wordcount 4

bash run.sh wordcount 6

bash run.sh wordcount 8

出现问题Fatal error in PMPI_Barrier: Unknown error class, error stack

解决:

MPI 并行计算出现的问题!!!(已解决)_process manager error waiting for completion-CSDN博客

https://blog.csdn.net/liu_feng_zi_/article/details/108483591

简单来说:

删除host文件本机对应的服务器名称 比如127.0.0.1 ecs-hw-0001删除,四台服务器都要删除

结果

分别执行以下命令,查看wordcount运行结果(只需要在ecs-hw-0001上执行)

bash run.sh wordcount 2

bash run.sh wordcount 4

bash run.sh wordcount 6

bash run.sh wordcount 8

2、4、6、8数字表示启动处理的进程数量。

通过上述运行,可以看出wordcount算法程序已经在集群中并行运行起来。其中第一行输出代表的是大文件统计耗时,第二行输出代表的是小文件统计耗时。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/946431.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【paddle】初次尝试

张量 张量是 paddlepaddle, torch, tensorflow 等 python 主流机器学习包中唯一通货变量,因此应当了解其基本的功能。 张量 paddle.Tensor 与 numpy.array 的转化 import paddle as paddle import matplotlib.pyplot as plt apaddle.to_t…

Frontend - 分页(针对 python / Django )

目录 一、同个文件内(方式一) 1. 前端 html 2. 定义分页界面 3. 获取分页数据 4.后端根据前端分页需求,整理分页数据 5.显示情况 6. JsonResponse 相关知识 二、不同文件内依旧有效(方式二,更优化)…

骑行解压:身心的奇妙之旅,VELO Angel Revo坐垫

在快节奏的都市生活中,骑行不仅是一种健康的生活方式,更是一种心灵的释放。从心理生理学的角度来看,骑行能够促使身体分泌内啡肽,带来愉悦感,同时,它还能转移注意力,缓解焦虑。在这场身心的奇妙…

HarmonyOS NEXT 实战之元服务:静态案例效果---教育培训服务

背景: 前几篇学习了元服务,后面几期就让我们开发简单的元服务吧,里面丰富的内容大家自己加,本期案例 仅供参考 先上本期效果图 ,里面图片自行替换 效果图1完整代码案例如下: import { authentication } …

使用JMeter对Linux生产服务器进行压力测试

安装 JMeter wget https://downloads.apache.org/jmeter/binaries/apache-jmeter-5.4.1.tgz tar -xzf apache-jmeter-5.4.1.tgz cd apache-jmeter-5.4.1创建 JMeter 脚本 设置中文 选择Options—>Choose Language—>选择其他语言(例如:Chinese&am…

【Web安全】文件写入漏洞 ASP 网页病毒模拟(文件写入漏洞+FilesystemObject)

【Web安全】文件写入漏洞 ASP 网页病毒模拟(文件写入漏洞FilesystemObject) 原理 文件写入漏洞 文件写入漏洞是指攻击者通过某种方式在服务器上创建或修改文件的漏洞。攻击者可以利用此漏洞在服务器上写入恶意代码或文件,从而实现进一步的…

微信小程序调用 WebAssembly 烹饪指南

我们都是在夜里崩溃过的俗人,所幸终会天亮。明天就是新的开始,我们会变得与昨天不同。 一、Rust 导出 wasm 参考 wasm-bindgen 官方指南 https://wasm.rust-lang.net.cn/wasm-bindgen/introduction.html wasm-bindgen,这是一个 Rust 库和 CLI…

整合版canal ha搭建--基于1.1.4版本

开启MySql Binlog(1)修改MySql配置文件(2)重启MySql服务,查看配置是否生效(3)配置起效果后,创建canal用户,并赋予权限安装canal-admin(1)解压 canal.admin-1…

药片(药丸)和胶囊识别数据集,使用yolo,pasical voc xml, coco json格式标注,可识别药片和胶囊两种标签,2445张原始图片

药片(药丸)和胶囊识别数据集,使用yolo,pasical voc xml, coco json格式标注,可识别药片和胶囊两种标签,2445张原始图片 数据集分割 训练组80% 1967图片 有效集13% 317图片 测试集7% 161图片 预处…

C 语言:注释的重要性及用法详解

目录 一、注释的作用 二、C 语言中的注释类型 三、注释的实践 四、注释的注意事项 五、总结 在 C 语言编程中,注释是一种非常重要的工具,它可以帮助程序员更好地理解代码、提高代码的可读性和可维护性。本文将详细介绍 C 语言中注释的用法和重要性。…

麒麟信安云在长沙某银行的应用入选“云建设与应用领航计划(2024)”,打造湖湘金融云化升级优质范本

12月26日,2024云计算产业和标准应用大会在北京成功召开。大会汇集政产学研用各方专家学者,共同探讨云计算产业发展方向和未来机遇,展示云计算标准化工作重要成果。 会上,云建设与应用领航计划(2024)建云用…

LeetCode - 初级算法 数组(存在重复元素)

存在重复元素 这篇文章讨论如何判断一个数组中是否存在重复元素。 免责声明:本文来源于个人知识与公开资料,仅用于学术交流。 描述 给定一个整数数组 nums,如果任一值在数组中出现至少两次,返回 true;如果数组中每个元素互不相同,返回 false。 示例: 输入: nums =…

C++笔记之尾后迭代器

C笔记之尾后迭代器 code review! 参考笔记 1.C笔记之尾后迭代器 2.C笔记之迭代器失效问题处理 在C中,尾后迭代器(通常称为 past-the-end iterator)是指指向容器中最后一个元素之后的位置的迭代器。它并不指向任何有效的元素,而是…

Gibbs现象(Gibbs Phenomenon)最初数学上的定义

Gibbs现象(Gibbs Phenomenon)是在处理周期性信号的傅里叶级数展开时出现的一种现象。当一个周期函数在不连续点附近被其傅里叶级数的部分和近似时,近似值会在不连续点处产生过冲(overshoot)和欠冲(undersho…

【时时三省】(C语言基础)动态内存函数realloc

山不在高,有仙则名。水不在深,有龙则灵。 ----CSDN 时时三省 realloc realloc函数的出现让动态内存管理更加灵活。 有时会我们发现过去申请的空间太小了,有时候我们又会觉得申请的空间过大了,那为了合理的时候内存,…

pycharm+anaconda创建项目

pycharmanaconda创建项目 安装: Windows下PythonPyCharm的安装步骤及PyCharm的使用-CSDN博客 详细Anaconda安装配置环境创建教程-CSDN博客 创建项目: 开始尝试新建一个项目吧! 选择好项目建设的文件夹 我的项目命名为:pyth…

ActiveMQ支持哪些传输协议

ActiveMQ 支持多种传输协议,以满足不同场景下的需求。这些协议包括但不限于以下几种: 1. OpenWire: • 这是 ActiveMQ 的默认和专有协议。 • 提供了高效、可靠的消息传递功能。 • 支持多种消息传递模式,如点对点和发布/订阅。 2…

Spring SpEL表达式由浅入深

标题 前言概述功能使用字面值对象属性和方法变量引用#this 和 #root变量获取类的类型调用对象(类)的方法调用类构造器类型转换运算符赋值运算符条件(关系)表达式三元表达式Elvis 操作符逻辑运算instanceof 和 正则表达式的匹配操作符 安全导航操作员数组集合(Array 、List、Map…

STM32裸机开发转FreeRTOS教程

目录 1. 简介2. RTOS设置(1)分配内存(2)查看任务剩余空间(3)使用osDelay 3. 队列的使用(1)创建队列(1)直接传值和指针传值(2)发送/接收…