【java爬虫】使用selenium获取某交易所公司半年报数据

引言

上市公司的财报数据一般都会进行公开，我们可以在某交易所的官方网站上查看这些数据，由于数据很多，如果只是手动收集的话可能会比较耗时耗力，我们可以采用爬虫的方法进行数据的获取。

本文就介绍采用selenium框架进行公司财报数据获取的方法，网页的地址是

上市公司经营业绩概览 | 上海证券交易所

首先来看一下运行的效果

编程环境搭建

本文采用springboot进行开发，首先来看一下pom.xml的内容

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.7.12</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<groupId>com.example</groupId>
	<artifactId>FinanceSpider</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>FinanceSpider</name>
	<description>Demo project for Spring Boot</description>
	<properties>
		<java.version>1.8</java.version>
	</properties>
	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-thymeleaf</artifactId>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>


		<dependency>
			<groupId>org.mybatis.spring.boot</groupId>
			<artifactId>mybatis-spring-boot-starter</artifactId>
			<version>2.1.0</version>
		</dependency>

		<dependency>
			<groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
			<version>8.0.26</version>
		</dependency>

		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
		</dependency>

		<!-- 爬虫相关的包 -->
		<dependency>
			<groupId>com.squareup.okhttp3</groupId>
			<artifactId>okhttp</artifactId>
			<version>3.10.0</version>
		</dependency>


		<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.11.3</version>
		</dependency>

		<dependency>
			<!-- fastjson -->
			<groupId>com.alibaba</groupId>
			<artifactId>fastjson</artifactId>
			<version>1.2.47</version>
		</dependency>


		<dependency>
			<groupId>cn.hutool</groupId>
			<artifactId>hutool-core</artifactId>
			<version>5.6.5</version>
		</dependency>


		<dependency>
			<groupId>net.lightbody.bmp</groupId>
			<artifactId>browsermob-core</artifactId>
			<version>2.1.5</version>
		</dependency>

		<dependency>
			<groupId>net.lightbody.bmp</groupId>
			<artifactId>browsermob-legacy</artifactId>
			<version>2.1.5</version>
		</dependency>

		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-java</artifactId>
			<version>4.1.1</version>
			<!--            <version>3.141.59</version>-->
		</dependency>

		<dependency>
			<groupId>io.github.bonigarcia</groupId>
			<artifactId>webdrivermanager</artifactId>
			<version>5.0.3</version>
		</dependency>

		<dependency>
			<groupId>com.google.guava</groupId>
			<artifactId>guava</artifactId>
			<version>31.0.1-jre</version>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>


			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-resources-plugin</artifactId>
				<version>2.4.3</version>
			</plugin>

			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-surefire-plugin</artifactId>
				<version>2.22.2</version>
				<configuration>
					<skipTests>true</skipTests>
				</configuration>
			</plugin>
		</plugins>
	</build>

</project>

数据库方面采用的是mysql，下面是建表语句

use finance_db;

/* 半年报信息表 */
drop table if exists t_report;
create table t_report (
    u_id BIGINT (20) unsigned NOT NULL AUTO_INCREMENT PRIMARY KEY COMMENT '优惠券id',
    company VARCHAR (50) NOT NULL COMMENT '公司名称',
    stock VARCHAR (20) NOT NULL COMMENT '股票代码',
    income BIGINT (20) NOT NULL COMMENT '营业收入',
    profit1 BIGINT (20) NOT NULL COMMENT '净利润',
    profit2 BIGINT (20) NOT NULL COMMENT '扣非净利润',
    cashflow BIGINT (20) NOT NULL COMMENT '经营现金流',
    rate1 DOUBLE NOT NULL COMMENT '净资产收益率',
    rate2 DOUBLE NOT NULL COMMENT '基本每股收益',
    rate3 DOUBLE NOT NULL COMMENT '资产负债率'
) ENGINE=InnoDB COMMENT '半年报信息表';

对应的mapper类和配置文件如下所示

@Mapper
public interface ReportMapper {

    // 清空表
    public void clearAll();

    // 插入一条数据
    public void insertOneItem(@Param("item")ReportEntity entity);

}
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.example.demo.mapper.ReportMapper">
    <delete id="clearAll">
        delete from t_report where 1=1
    </delete>

    <insert id="insertOneItem" parameterType="ReportEntity">
        insert into t_report
        (company, stock, income, profit1, profit2, cashflow, rate1, rate2, rate3)
        values
        (#{item.company}, #{item.stock}, #{item.income}, #{item.profit1},
         #{item.profit2}, #{item.cashflow}, #{item.rate1}, #{item.rate2}, #{item.rate3})
    </insert>

</mapper>

除此之外，我们还需要编写一个和数据库表对应的实体类

@Data
@AllArgsConstructor
@NoArgsConstructor
public class ReportEntity {

    // 公司名称
    private String Company;
    // 股票代码
    private String stock;
    // 营业收入
    private long income;
    // 净利润
    private long profit1;
    // 扣非净利润
    private long profit2;
    // 经营现金流
    private long cashflow;
    // 净资产收益率
    private double rate1;
    // 基本每股收益
    private double rate2;
    // 资产负债率
    private double rate3;

}

爬虫程序编写

环境搭好后接下来就是最重要的爬虫程序编写的部分了，本文采用的是chrome浏览器，使用selenium框架的时候，需要采用和浏览器版本对应的驱动程序，下面是我的浏览器版本

我下载了对应版本的驱动程序，118版本的驱动可以在这个网址下载

https://googlechromelabs.github.io/chrome-for-testing/#stable

如果你的chrome版本较低，驱动程序应该很好找，直接百度就可以了。

下面来介绍具体的爬虫程序编写逻辑。

实际上某交易所的数据还是比较好获取的，就是有一点需要注意一下，网页都是先于数据渲染的，selenium在网页渲染好后就会开始获取元素信息，这时候可能就会获取不到数据，解决办法就是判断当前有没有获取到数据，如果没有获取到数据就等待一会然后继续获取，直到获取到数据位置，具体的代码如下

@Slf4j
@Service
public class ReportServiceImpl implements ReportService {

    private final String DRIVER_PATH = "E:/视频/电商爬虫/驱动/chromedriver-118.exe";
    private final String START_URL = "http://www.sse.com.cn/disclosure/listedinfo/listedcompanies/";

    @Autowired
    private ReportMapper reportMapper;

    @Override
    public void getReportInfo() {
        reportMapper.clearAll();
        System.setProperty("webdriver.chrome.driver", DRIVER_PATH);
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--remote-allow-origins=*");
        WebDriver driver = new ChromeDriver(options);
        // 设置最长等待时间
        driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);
        driver.get(START_URL);
        while(true) {
            WebElement element = driver.findElement(By.className("list-group-flush"));
            WebElement ul = element.findElement(By.tagName("ul"));
            List<WebElement> liList = ul.findElements(By.tagName("li"));
            String firstname = null;
            String cmpname = null;
            for (int i = 0; i < liList.size(); i++) {
                if (i == 0) {
                    firstname = driver.findElement(By.className("js_one_title")).getText();
                }
                // 点击进入新的页面
                liList.get(i).findElement(By.tagName("div")).click();
                List<String> handleList = new ArrayList<>(driver.getWindowHandles());
                driver.switchTo().window(handleList.get(1));

                // 获取新的数据
                WebElement title_lev1 = null;
                title_lev1 = driver.findElement(By.className("title_lev1")).findElement(By.tagName("span"));
                while(title_lev1.getText().split(" ").length == 1) {
                    log.info("等待公司名称加载");
                    sleep(1000);
                    title_lev1 = driver.findElement(By.className("title_lev1")).findElement(By.tagName("span"));
                }
                String tmpstr = title_lev1.getText();
                // System.out.println(tmpstr);
                String title = tmpstr.split(" ")[0];
                String stock = tmpstr.split(" ")[1];

                List<WebElement> table_ele = driver.findElement(By.className("table-hover")).findElements(By.tagName("tr"));
                while(table_ele.get(0).findElements(By.tagName("td")).get(1).getText().equals("-")) {
                    log.info("等待详细信息加载");
                    sleep(2000);
                    table_ele = driver.findElement(By.className("table-hover")).findElements(By.tagName("tr"));
                }
                // 营业收入
                long income = parseLongStr(table_ele.get(0).findElements(By.tagName("td")).get(1).getText());
                // 净利润
                long profit1 = parseLongStr(table_ele.get(0).findElements(By.tagName("td")).get(3).getText());
                // 扣非净利润
                long profit2 = parseLongStr(table_ele.get(2).findElements(By.tagName("td")).get(1).getText());
                // 经营现金流
                long cashflow = parseLongStr(table_ele.get(2).findElements(By.tagName("td")).get(3).getText());
                // 净资产收益率
                double rate1 = parseDoubleStr(table_ele.get(4).findElements(By.tagName("td")).get(1).getText());
                // 基本每股收益
                double rate2 = parseDoubleStr(table_ele.get(4).findElements(By.tagName("td")).get(3).getText());
                // 资产负债率
                double rate3 = parseDoubleStr(table_ele.get(6).findElements(By.tagName("td")).get(1).getText());

                ReportEntity entity = new ReportEntity(title, stock, income, profit1, profit2, cashflow, rate1, rate2, rate3);
                reportMapper.insertOneItem(entity);
                log.info("获取信息=>" + JSON.toJSONString(entity));

                sleep(1000);

                // 关闭新的页面
                closeWindow(driver);
            }
            // 如果有下一页就点击下一页
            if (check(driver, By.className("noNext"))) {
                log.info("已经么有下一页啦");
                break;
            }
            WebElement element1 = driver.findElement(By.className("pagination-box")).findElement(By.className("next"));
            element1.click();
            log.info("点击进入下一页");
            // 等待标签出现变化
            sleep(1000);
            cmpname = driver.findElement(By.className("js_one_title")).getText();
            while(cmpname.equals(firstname)) {
                log.info("继续等待页面加载");
                sleep(1000);
                cmpname = driver.findElement(By.className("js_one_title")).getText();
            }
        }

    }

    // 等待一定时间
    public void sleep(long millis) {
        try {
            Thread.sleep(millis);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

    // 判断某个元素是否存在
    public boolean check(WebDriver driver, By selector) {
        try {
            driver.findElement(selector);
            return true;
        } catch (Exception e) {
            return false;
        }
    }

    public double parseDoubleStr(String doublestr) {
        if (doublestr.equals("-")) {
            return 0.0;
        } else {
            return Double.parseDouble(doublestr.replaceAll(",", ""));
        }
    }

    public long parseLongStr(String longstr) {
        // System.out.println("longstr=" + longstr);
        int flag = 1;
        if (longstr.contains("-1")) {
            flag = -1;
        }
        longstr = longstr.replaceAll("-", "");
        longstr = longstr.replaceAll(",", "");
        // 如果有小数点
        if (longstr.contains(".")) {
            longstr = longstr.replaceAll("\\.", "");
            return Long.parseLong(longstr) * 100 * flag;
        } else { // 没有小数点
            return Long.parseLong(longstr) * 10000 * flag;
        }
    }

    // 关闭当前窗口
    public void closeWindow(WebDriver driver) {
        // 获取所有句柄的集合
        List<String> winHandles = new ArrayList<>(driver.getWindowHandles());
        driver.switchTo().window((String) winHandles.get(1));
        driver.close();
        driver.switchTo().window((String) winHandles.get(0));
    }
}

下面是controller层的代码，用于启动爬虫程序，需要开启一个线程进行执行，因为程序运行的时间会很久

@Controller
public class BootController {

    @Autowired
    private ReportService reportService;

    @RequestMapping("start")
    @ResponseBody
    public String bootstart() {
        new Thread(()->{
            reportService.getReportInfo();
        }).start();
        return "success";
    }

}

运行程序后就可以进行数据获取了，下面是获取到的一部分数据

总结

使用爬虫获取数据还是挺快的，也挺方便的。

不过还是要提醒一句，本文分享的内容仅作为学习交流使用，请勿用于任何商业用途！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/105063.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【网络】对于我前面UDP博客的补充

【网络】对于我前面UDP博客的补充

UDP 前言正式开始UDP报文UDP报文如何将UDP报文和报头进行分离和封装UDP如何将有效载荷交付给上层如何提取出完整报文报头是啥报头中的检验和 UDP的特点IO接口乱序问题UDP是全双工的注意事项基于UDP的应用层协议 再次谈论端口五元组端口号范围划分netstatxargs 前言 本篇比较偏…
阅读更多...
【Qt之QtConcurrent】描述及使用

【Qt之QtConcurrent】描述及使用

描述 QtConcurrent是一个Qt库中的模块&#xff0c;用于实现多线程并发编程。它提供了一些高级API&#xff0c;使得在多核处理器上并行执行代码变得更加容易。 示例&#xff1a; 使用的话&#xff0c; 需要在pro文件中添加&#xff1a;QT concurrent模块。 #include <QC…
阅读更多...
山东大学开发可解释深度学习算法 RetroExplainer，4 步识别有机物的逆合成路线

山东大学开发可解释深度学习算法 RetroExplainer，4 步识别有机物的逆合成路线

逆合成旨在找到一系列合适的反应物&#xff0c;以高效合成目标产物。这是解决有机合成路线的重要方法&#xff0c;也是有机合成路线设计的最简单、最基本的方法。 早期的逆合成研究多依赖编程&#xff0c;随后这一工作被 AI 接替。然而&#xff0c;现有的逆合成方法多关注单步逆…
阅读更多...
手机桌面待办事项APP推荐

手机桌面待办事项APP推荐

每天&#xff0c;我们每个人都面临着繁琐的事务和任务&#xff0c;而手机成了我们日常生活中不可或缺的伙伴。手机上的待办事项工具像一个可靠的助手&#xff0c;可以帮助我们更好地记录、管理和完成任务。在手机桌面上使用的待办事项APP推荐用哪一个呢&#xff1f; 手机是我们…
阅读更多...
微信h5支付配置，商家存在未配置的参数，请联系商家解决

微信h5支付配置，商家存在未配置的参数，请联系商家解决

对于PC端来说&#xff0c;只需要开通 native支付 就可以了 但手机端h5还需要配置支付域名&#xff0c;并且域名只需要配置一级就可以了&#xff0c;比如&#xff1a;a.test.com, b.test.com, 只需要配置 test.com 就能满足所有的二级域名了, 而不需要配置a.test.com或者b.te…
阅读更多...
网工内推 | 国企，解决方案工程师，最高30k，有软考证书优先

网工内推 | 国企，解决方案工程师，最高30k，有软考证书优先

01 中电信数智科技有限公司海南分公司 招聘岗位&#xff1a;解决方案经理&#xff08;ICT&#xff09; 职责描述&#xff1a; 1、负责调动前后端资源做好全省ICT业务的售前支撑服务工作。 2、根据实际项目需求&#xff0c;主动协同客户渠道开展ICT项目商机挖掘&#xff0c;促进…
阅读更多...
c++视觉检测------Shi-Tomasi 角点检测

c++视觉检测------Shi-Tomasi 角点检测

Shi-Tomasi 角点检测 &#xff1a;goodFeaturesToTrack() goodFeaturesToTrack() 函数是 OpenCV 中用于角点检测的功能函数。它的主要作用是检测图像中的良好特征点&#xff0c;通常用于计算机视觉任务中的光流估算、目标跟踪等。 函数签名&#xff1a; void goodFeaturesTo…
阅读更多...
华为ERP，包含哪些内容？技术的先进性体现在哪里？

华为ERP，包含哪些内容？技术的先进性体现在哪里？

华为作为全球领先的信息和通信技术&#xff08;ICT&#xff09;解决方案提供商&#xff0c;其企业资源规划&#xff08;ERP&#xff09;系统是一个高度复杂且集成的管理软件平台&#xff0c;用于优化公司内部的业务流程和资源分配。华为ERP系统包括一系列模块和功能&#xff0c…
阅读更多...
代码审计及示例

代码审计及示例

简介&#xff1a; 代码安全测试是从安全的角度对代码进行的安全测试评估。 结合丰富的安全知识、编程经验、测试技术&#xff0c;利用静态分析和人工审核的方法寻找代码在架构和编码上的安全缺陷&#xff0c;在代码形成软件产品前将业务软件的安全风险降到最低。 方法&#x…
阅读更多...
论文阅读 - Hidden messages: mapping nations’ media campaigns

论文阅读 - Hidden messages: mapping nations’ media campaigns

论文链接&#xff1a; https://link.springer.com/content/pdf/10.1007/s10588-023-09382-7.pdf 目录 1 Introduction 2 The influence model 2.1 The influence‑model library 3 Data 4 Methodology 4.1 Constructing observations 4.2 Learning the state‑transiti…
阅读更多...
【Maven】Unknown lifecycle phase “.skip.test=true“.

【Maven】Unknown lifecycle phase “.skip.test=true“.

idea 终端执行如下命令时 mvn clean install -Dmaven.skip.testtrue报&#xff1a; Unknown lifecycle phase ".skip.testtrue". You must specify a valid lifecycle phase or a goal in the format <plugin-prefix>:<goal> or <plugin-group-id&…
阅读更多...
修炼k8s+flink+hdfs+dlink（六：学习namespace，service）

修炼k8s+flink+hdfs+dlink（六：学习namespace，service）

一&#xff1a;什么是namespace&#xff1f; 你可以认为namespaces是你kubernetes集群中的虚拟化集群。在一个Kubernetes集群中可以拥有多个命名空间&#xff0c;它们在逻辑上彼此隔离。 他们可以为您和您的团队提供组织&#xff0c;安全甚至性能方面的帮助&#xff01; 二&a…
阅读更多...
【20年VIO 梳理】

【20年VIO 梳理】

19-20年VIO 梳理 1. 开源代码介绍&#xff1a; DSM2. FMD Stereo SLAM&#xff1a;融合MVG和直接方法&#xff0c;实现准确&#xff0c;快速的双目SLAM3. 基于VINS-Mono开发的SPVIS4. 改进&#xff1a;一种基于光流的动态环境移动机器人定位方案5. PVIO:基于先验平面约束的高效…
阅读更多...
吃瓜教程3|决策树

吃瓜教程3|决策树

ID3算法 假定当前样本集合D中第k类样本所占比例为pk&#xff0c;则样本集合D的信息熵定义为 信息增益 C4.5算法 ID3算法存在一个问题&#xff0c;就是偏向于取值数目较多的属性&#xff0c;因此C4.5算法使用了“增益率”&#xff08;gain ratio&#xff09;来选择划分属性 CA…
阅读更多...
深入浅出排序算法之希尔排序

深入浅出排序算法之希尔排序

目录 1. 原理 2. 代码实现 3. 性能分析 1. 原理 希尔排序法又称缩小增量法。希尔排序法的基本思想是&#xff1a;先选定一个整数&#xff0c;把待排序文件中所有记录分成个组&#xff0c;所有距离为的记录分在同一组内&#xff0c;并对每一组内的记录进行排序。然后&#xf…
阅读更多...
警报：Citrix和VMware漏洞的PoC利用代码已发布

警报：Citrix和VMware漏洞的PoC利用代码已发布

导语 近日&#xff0c;虚拟化服务提供商VMware向客户发出警报&#xff0c;称其Aria Operations for Logs中的一个已修补安全漏洞的PoC利用代码已经发布。这个高危漏洞&#xff08;CVE-2023-34051&#xff09;是一种绕过身份验证的情况&#xff0c;可能导致远程代码执行。本文将…
阅读更多...
零基础Linux_23(多线程)线程安全+线程互斥(加锁)+死锁

零基础Linux_23(多线程)线程安全+线程互斥(加锁)+死锁

目录 1. 线程安全 1.1 线程不安全前期 1.2 线程不安全原因 2. 线程互斥 2.1 加锁保护&#xff08;代码&#xff09; 2.2 锁的本质 3. 可重入对比线程安全 4. 死锁 4.1 死锁的必要条件 4.2 避免死锁 5. 笔试面试题 答案及解析 本篇完。 1. 线程安全 基于上一篇线程…
阅读更多...
vue项目中内嵌iframe，打包上线时候iframe地址如何写?

vue项目中内嵌iframe，打包上线时候iframe地址如何写?

vue项目中内嵌iframe&#xff0c;打包上线时候iframe地址如何写 一、项目结构1.内嵌的iframe文件位置2.打包后的iframe的位置 二、代码 前提描述&#xff0c;项目是用webpack打包的&#xff0c;内嵌一个完整的js小组件 一、项目结构 1.内嵌的iframe文件位置 2.打包后的iframe的…
阅读更多...
Pytorch代码入门学习之分类任务（三）：定义损失函数与优化器

Pytorch代码入门学习之分类任务（三）：定义损失函数与优化器

一、定义损失函数 1.1 代码 criterion nn.CrossEntropyLoss() 1.2 损失函数简介 神经网络的学习通过某个指标表示目前的状态&#xff0c;然后以这个指标为基准&#xff0c;寻找最优的权重参数。神经网络以某个指标为线索寻找最优权重参数&#xff0c;该指标称为损失函数&am…
阅读更多...
【开发篇】一、处理函数：定时器与定时服务

【开发篇】一、处理函数：定时器与定时服务

文章目录 1、基本处理函数2、定时器和定时服务3、KeyedProcessFunction下演示定时器4、process重获取当前watermark 前面API篇完结&#xff0c;对数据的转换、聚合、窗口等&#xff0c;都是基于DataStream的&#xff0c;称DataStreamAPI&#xff0c;如图&#xff1a; 在Flink…
阅读更多...
最新文章

Copyright @ 2022~2023