爬虫课程考试方式说明

爬虫课程考试方式说明

一、开课情况

考查课 082116415
50人,0864211,1-15单周 理论学时16 实验学时0
上课地点:周一 3-4节 十号教学楼A303
51人,0864212,1-15单周 理论学时16 实验学时0
上课地点:周四 3-4节 十号教学楼A303

二、考试方式

本学期的课程围绕python爬虫的相关内容,因此采用以“python爬虫”为主题的大作业作为本学期考核。

1)选题说明

大作业分为三个主题,学生任选其一:

主题一:数据采集存储与分析
1.确定一个网站,进行数据的获取,有嵌套数据获取
2.体现友好爬虫设置 最大的爬取次数以及页面停止等待时间
3.有多种反反爬措施的体现 UserAgent proxyip cookie 深入分析请求头的信息
4.把数据写入到mongodb中,参考如下:
http://172.16.16.164:8000/courses/81/assignments/728?module_item_id=3806
5.进行一些分析,结合数据导入与预处理
6.注意代码的可读性

主题二:网站自动化测试
1.确定一个网站,完成自动化操作测试 selenium的使用
2.要求自动化的测试不能低于如下的案例难度,并且有较为实用
https://blog.csdn.net/m0_38139250/article/details/127701694
3.可以设置浏览器伪装,可以参考:
https://blog.csdn.net/m0_38139250/article/details/134227638
4.实现方向举例,如:csdn自动点赞回复机器人、自动登录校园网、把excel中的数据自动录入某系统等

主题三:三方服务实现
1.进行第3方api的服务调用,如百度API,华为API,
2.或批量分析,如果你的服务是图片识别,可以把一个文件夹下的所有图片都识别出来
3.或嵌入自己的系统 如果你的服务是图片识别,可以把这个功能加到你的系统中

2)大作业报告要求:

下文以选题一方向要求:

报告内容涵盖:
(1)选题意义
(2)技术实现描述
(3)数据来源分析
(4)数据获取与清洗过程
(5)数据存储过程
(6)数据分析设计与实现
(7)个人总结

下文以选题二方向要求:

报告内容涵盖:
(1)选题意义
(2)技术实现描述
(3)确定目标网站目标网站分析
(4)自动化功能实现
(5)个人总结

下文以选题三方向要求:

报告内容涵盖:
(1)选题意义
(2)技术实现描述
(3)确定调用的三方接口以及接口使用案例分析
(4)批量功能实现或功能嵌入系统实现
(5)效果展示
(6)部署文档
(7)个人总结

3)报告格式要求:

(1)正文小四字号,中文为宋体字体,英文数字均为Times New Roman字体。行间距18磅。每个段落首行缩进2字符。
(2)各级标题四号黑体。
(3)每个图要有标号和图名(例:图1 实现数据爬取的程序流程图),标号和图名在图下标识。每个表要有标号和表名(例:表1 Table表结构),标号和表名在表上方标注。
(4)报告页数不能少于12页

三、考试说明

第15周为考试审核周,共留两周时间给学生完成。论文的最终评判将参考以下标准进行:
在这里插入图片描述

四、资料保存方式

每人上交一份电子档,同时上交一份打印档。
第16周周末把报告打印出来交给学委或班长,然后把报告的电子档和代码达成压缩包发到学习通。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/270197.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

案例分析:三一重工集团数字化转型

三一重工集团,作为制造业中的数字化转型佼佼者,荣获“全球灯塔工厂”的殊荣,率先采用了物联网、云计算、大数据等尖端技术手段。数字化转型让三一重工步入了全面信息化的管理时代,通过ERP、CRM、HRM等系统的协同运作,实…

vs2008编译报错:1>cl: 命令行 error D8016 :“/MTd”和“/clr:oldsyntax”命令行选项不兼容

使用cypress的驱动进行编译,报错如下: 1>------ 已启动全部重新生成: 项目: Streamer, 配置: Debug Win32 ------ 1>正在删除项目“Streamer”(配置“Debug|Win32”)的中间文件和输出文件 1>正在编译... 1>cl: 命令行 warning D9035 :“clr…

【Redis】七、Redis主从复制(重点)

文章目录 1、概念1.1、主从复制的作用主要包括1.2、一般来说,要将Redis运用于工程项目中,只使用一台Redis是万万不能的(宕机),原因如下 2、环境配置2.1、复制拷贝3个配置文件,然后修改对应的信息拷贝文件改…

使用tesla gpu 加速大模型,ffmpeg,unity 和 UE等二三维应用

我们知道tesla gpu 没有显示器接口,那么在windows中怎么使用加速unity ue这种三维编辑器呢,答案就是改变注册表来加速相应的三维渲染程序. 1 tesla gpu p40 p100 加速 在windows中使用regedit 来改变 核显配置, 让p100 p40 等等显卡通过核显…

SpringBoot整合Redis完整篇

SpringBoot整合Redis完整篇 1、在springboot项目的pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schem…

RK3588平台开发系列讲解(AI 篇)RKNN 数据结构详解

文章目录 一、rknn_sdk_version二、rknn_input_output_num三、rknn_tensor_attr四、rknn_perf_detail五、rknn_perf_run六、rknn_mem_size七、rknn_tensor_mem八、rknn_input九、rknn_output沉淀、分享、成长,让自己和他人都能有所收获!😄 📢本篇章主要讲解 RKNN 相关的数…

[kubernetes]Kube-APIServer

API Server API Server是什么 提供集群管理的REST API接口&#xff0c;包括认证授权、数据校验以及集群状态变更等提供其他模块之间的数据交互和通信的枢纽&#xff08;其他模块通过API Server查询或修改数据&#xff0c;只有API Server才直接操作etcd&#xff09; 访问控制…

多组件卡片式问答引擎

#本篇文章联合同花顺人工智能领域开发者严同学创作 1.简介 为了满足用户个性化需求以及精细化运营&#xff0c;越来越多的企业推出多组件式的卡片问答&#xff0c;这种回答方式不会千篇一律&#xff0c;能够更好地为客户提供服务&#xff0c;帮助客户解决问题。 使用这种问答…

“React学习之旅:从入门到精通的点滴感悟“

在探索和学习React的过程中&#xff0c;我逐渐领悟到了前端开发的魅力与挑战。React&#xff0c;作为Facebook推出的开源JavaScript库&#xff0c;以其独特的思维方式和强大的功能&#xff0c;引领着前端开发的潮流。在这篇文章中&#xff0c;我将分享我的React学习心得&#x…

一个int型有序数组,如何拿到最低的值和这个值一共存在多少个?

一个int型有序数组&#xff0c;如何拿到最低的值和这个值一共存在多少个&#xff1f; 示例代码&#xff1a; int min 0;int os 1;int[] element {5,4,4,2,2};for (int i : element) {if (i min) {os;} else {min i;os 1;}}System.out.println("min " min);S…

PortSwigger Access Control

lab1: Unprotected admin functionality 访问robots.txt 进了删除即可 lab2: Unprotected admin functionality with unpredictable URL 访问admin-d0qwj5 lab3: User role controlled by request parameter 发现Cookie中存在判断是否为admin lab4: User role can be modifie…

test assert-01-Google Truth 断言

Truth Truth 是用于Java测试的断言框架&#xff0c;灵感来自于FEST&#xff0c;并受到一些可扩展性需求的驱动&#xff0c;几乎完全由谷歌员工在业余时间编写&#xff0c;或者作为Java核心图书馆管理员的身份做出贡献。 作用 作为工程师&#xff0c;我们花费大部分的时间来阅…

【RocketMQ笔记01】安装RocketMQ消息队列运行环境

这篇文章&#xff0c;主要介绍如何安装RocketMQ消息队列运行环境。 目录 一、RocketMQ消息队列 1.1、下载RocketMQ 1.2、解压安装包 1.3、配置RocketMQ环境变量 1.4、修改启动脚本 1.5、启动RocketMQ &#xff08;1&#xff09;启动NameServer &#xff08;2&#xff0…

11.1Linux串口应用程序开发

UART简介 UART的全称是Universal Asynchronous Receiver and Transmitter&#xff0c;即异步发送和接收。 串口在嵌入式中用途非常的广泛&#xff0c;主要的用途有&#xff1a; 打印调试信息&#xff1b;外接各种模块&#xff1a;GPS、蓝牙&#xff1b; 串口因为结构简单、稳…

mybatis缓存详解,一级缓存和二级缓存举例讲解

文章目录 mybatis缓存详解&#xff0c;一级缓存和二级缓存举例讲解1、一级缓存1.1、同一个sqlsession对象的不同mapper对象之间的缓存使用debug运行查看cache缓存 1.2、不同sqlsession对象下的不同mapper对象的缓存使用debug运行查看cache缓存 1.3、同一个sqlsession对象下一级…

【Java】SpringBoot快速整合Kafka

目录 1.什么是Kafka&#xff1f; 主要特点和概念&#xff1a; 主要组成部分&#xff1a; 2.Kafka可以用来做什么&#xff1f; 3.SpringBoot整合Kafka步骤&#xff1a; 1. 添加依赖: 2. 配置 Kafka: 3. 创建 Kafka 生产者: 4. 创建 Kafka 消费者: 5. 发布消息: 6. 使…

【基础篇】二、字节码文件的组成 Arthas + jclasslib +javap

文章目录 1、jclasslib工具2、基础信息部分3、常量池部分4、方法部分&#xff08;从字节码指令看i&#xff09;5、三种1操作的性能对比6、javap -v命令7、jclasslib插件8、Arthas 1、jclasslib工具 字节码文件中保存的是源代码编译后的内容&#xff0c;以二进制方式存储&#…

智能优化算法应用:基于协作搜索算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于协作搜索算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于协作搜索算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.协作搜索算法4.实验参数设定5.算法结果6.…

人工智能_机器学习074_SVM支持向量机_软间隔与优化目标函数构建_C参数由来_惩罚误差点的惩罚度---人工智能工作笔记0114

然后我们接着上一节再来看一下这里我们说有个 min_faces_per_person = 0 这个可以看到如果我们写上0,就意味着要加载所有的人脸图片,就会花费的时间久对吧 我们可以试试,这里我们 min_faces_per_person = 0 改成0然后 我们等一会加载完了以后,我们用 display(X.shape,faces.sh…

OpenEuler安装内网穿透工具实现ssh连接openEuler系统

文章目录 1. 本地SSH连接测试2. openEuler安装Cpolar3. 配置 SSH公网地址4. 公网远程SSH连接5. 固定连接SSH公网地址6. SSH固定地址连接测试 本文主要介绍在openEuler中安装Cpolar内网穿透工具实现远程也可以ssh 连接openEuler系统使用. 欧拉操作系统(openEuler, 简称“欧拉”…