kettle实现爬虫

步骤概览

99afbada89fc1a530aa574a5b6118f41.png

获取请求

4e68abd735b556b897dc8638a2fde63a.png

请求地址

东方财富网股票请求

自定义常量数据

获取HTTP请求之前，必须先定义一个URL常量作为HTTP client的输入

d20d680b0644885118fd3ec8644048c9.png

34e1d49a44a159b51e3be1e694fe1a08.png

HTTP client

5a46b3bf02e8cca94a63c0066dba259f.png

注：此处得到的数据并不是原生的json字符串，自己可以用文本文件输出测试以下。如下图

27d9d554c1200e21ed5d1ef529285fa1.png

JavaScript脚本

此步骤用于清洗不符合格式的json字符串，并以返回变量

以下代码用于获取括号内的字符串

a2c9ee709b4f51fa77b87fbb70933d09.png

json输入

1b707bebb092fd5a21fd2e69012acdbf.png

路径的语法是jsonpath，获取data对象中的klines数组的每个元素

a958750d53ce44ac24dab75b3db78ff1.png

注：现在得到的数据是一行一行以逗号分隔的数据，需要将这一列拆分成多列

55dbbfd847b4a122b482e519510cdce2.png

拆分字段

fb2c19a46abe4e73a0f59ce96ce9b552.png

文本文件输出

665bb0c824598cbe3f10b01f078926a7.png

选一下分隔符

6767bb3e8d60e09c02ec6857cf292134.png

选一下字段

8d767e9a37cead398bebb32bf9c0ef73.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/91137.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Vue2向Vue3过度核心技术路由

Vue2向Vue3过度核心技术路由

目录 1 路由介绍1.思考2.路由的介绍3.总结 2 路由的基本使用1.目标2.作用3.说明4.官网5.VueRouter的使用（52）6.代码示例7.两个核心步骤8.总结 3 组件的存放目录问题1.组件分类2.存放目录3.总结 4 路由的封装抽离5 Vue路由-重定向1.问题2.解决方案3.语法4…
阅读更多...
谈谈子网划分的定义、作用、划分方式以及案例

谈谈子网划分的定义、作用、划分方式以及案例

个人主页：insist--个人主页​​​​​​ 本文专栏：网络基础——带你走进网络世界 本专栏会持续更新网络基础知识，希望大家多多支持，让我们一起探索这个神奇而广阔的网络世界。 目录 一、子网划分的定义 二、子网掩码的作用 1、…
阅读更多...
林业气象站——林业种植气象观测

林业气象站——林业种植气象观测

林业气象站是一种用于观测林区气象环境的仪器，能够观测林区天气、土壤等自然环境参数（温度、湿度、风速、风向、降雨量、气压、放射线、土壤湿度等），为开展环境观测、天气预报、灾害预警、林区虫害防治起到综合指导作用。 林业气…
阅读更多...
Unity中的数学基础——贝塞尔曲线

Unity中的数学基础——贝塞尔曲线

一：前言 一条贝塞尔曲线是由一组定义的控制点P0到 Pn，n1为线性，n2为二次......第一个和最后一个控制点称为起点和终点，中间的控制点一般不会位于曲线上 获取两个点之间的点就是通过线性插值（ Mathf.Lerp&#xff09…
阅读更多...
基于Python+djangoAI 农作物病虫害预警系统智能识别系统设计与实现（源码＆教程）

基于Python+djangoAI 农作物病虫害预警系统智能识别系统设计与实现（源码＆教程）

1.背景 随着科技的发展，机器学习技术在各个领域中的应用越来越广泛。在农业领域，机器学习技术的应用有助于提高农作物的产量和质量，降低农业生产的成本。本文针对农作物健康识别问题，提出一种基于机器学习方法的农作健康识别系统&…
阅读更多...
FOC之SVPWM学习笔记

FOC之SVPWM学习笔记

一、参考资料 【自制FOC驱动器】深入浅出讲解FOC算法与SVPWM技术 - 知乎FOC入门教程_zheng是在下的博客-CSDN博客DengFOC官方文档技术干货 |【自制】FOC驱动板SVPWM_扇区判断_时间计算_哔哩哔哩_bilibili 二、FOC控制算法流程框图 在FOC控制中主要用到三个PID环，从内…
阅读更多...
picGo+gitee+typora设置图床

picGo+gitee+typora设置图床

picGogiteetypora设置图床 picGogitee设置图床下载picGo软件安装picGo软件gitee操作在gitee中创建仓库在gitee中配置私人令牌 配置picGo在插件设置中搜索gitee插件并进行下载 TyporapicGo设置Typora 下载Typora进行图像设置 picGogitee设置图床 当我了解picGogitee可以设置图床…
阅读更多...
基础论文学习（2）——DETR

基础论文学习（2）——DETR

目标检测 DETR：End-to-End Detection with Transformer detr是facebook提出的引入transformer到目标检测领域的算法，效果很好，做法也很简单，相较于RCNN和YOLO系列算法，避免了Proposal/AnchorNMS的复杂流程。 1. detr…
阅读更多...
网络安全在医疗行业中的重要性

网络安全在医疗行业中的重要性

不可否认，现代世界见证了技术和医疗行业的交织，塑造了我们诊断、治疗和管理健康状况的新方式。随着电子健康记录取代纸质文件，远程医疗缩短了患者和医疗服务提供者之间的距离，数字化转型既是福音，也是挑战。最近的全球…
阅读更多...
数据库三大范式是什么，又为什么要反范式？

数据库三大范式是什么，又为什么要反范式？

🏆作者简介，黑夜开发者，CSDN领军人物，全栈领域优质创作者✌，CSDN博客专家，阿里云社区专家博主，2023年6月CSDN上海赛道top4。 🏆数年电商行业从业经验，历任核心研发工程师…
阅读更多...
opencv/C++ 人脸检测

opencv/C++ 人脸检测

前言 本文使用的测试资源说明： opencv版本：opencv 4.6.0 人脸检测算法 Haar特征分类器 Haar特征分类器是一个XML文件，描述了人体各个部位的Haar特征值。包括：人脸、眼睛、鼻子、嘴等。 opencv 4.6.0自带的Haar特征分类器&…
阅读更多...
vue3+uni——watch监听props中的数据（组件参数接收与传递defineProps、defineEmits）

vue3+uni——watch监听props中的数据（组件参数接收与传递defineProps、defineEmits）

案例说明 A页面引用的子组件B A页面 <template><view>//引用组件<serviceOrder change"change" :list"list" :current"type"></serviceOrder></view> </template><script setup>import serviceOrd…
阅读更多...
SpringCloud超详细教程

SpringCloud超详细教程

1.认识微服务 随着互联网行业的发展&#xff0c;对服务的要求也越来越高&#xff0c;服务架构也从单体架构逐渐演变为现在流行的微服务架构。这些架构之间有怎样的差别呢&#xff1f; 1.0.学习目标 了解微服务架构的优缺点 1.1.单体架构 单体架构&#xff1a;将业务的所有…
阅读更多...
vue中实现echarts三维散点图

vue中实现echarts三维散点图

需要安装 echarts 同时引入 echarts-gl 我安装的版本&#xff1a; "echarts": "^5.3.2", "echarts-gl": "^2.0.9", import Vue from "vue"; import * as echarts from "echarts"; Vue.prototype.$echarts echa…
阅读更多...
Spring 学习源码的基础 核心原理与核心概念

Spring 学习源码的基础 核心原理与核心概念

文章目录 核心原理AnnotationConfigApplicationContextIoC 容器加载流程Spring 中如何创建一个对象Bean 的创建过程 (生命周期)单例 原型推断构造方法依赖注入AOP 动态代理判断是否需要 AOP 的大致流程CGLib 做 AOP 的大致流程事务事务代理对象执行方法的流程事务注解排至失效的…
阅读更多...
使用yapi生成漂亮接口文档

使用yapi生成漂亮接口文档

YApi-教程 1. 进入yapi 的菜单 2. 从微服务中导出swagger的json 从浏览器页面访问http://localhost:端口/服务/swagger-ui.html&#xff0c;然后打开浏览器的控制台&#xff0c;查看network&#xff0c;刷新下页面&#xff0c;找到XHR中的api-docs&#xff0c;然后查看res…
阅读更多...
基于Java+SpringBoot+Vue前后端分离公交线路查询系统设计和实现

基于Java+SpringBoot+Vue前后端分离公交线路查询系统设计和实现

博主介绍&#xff1a;✌全网粉丝30W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专…
阅读更多...
stm32读写片内flash项目总结(多字节读写tongxindu)

stm32读写片内flash项目总结(多字节读写tongxindu)

1.flash操作驱动程序 a头文件 #ifndef FLASH_H #define FLASH_H #include “stm32f4xx.h” #define BOARD_NUM_ADDR 0x0800C000 #define STM32_FLASH_BASE 0x08000000 //STM32 FLASH的起始地址 #define FLASH_WAITETIME 50000 //FLASH等待超时时间 //FLASH 扇区的起始地址…
阅读更多...
openGauss学习笔记-51 openGauss 高级特性-列存储

openGauss学习笔记-51 openGauss 高级特性-列存储

文章目录 openGauss学习笔记-51 openGauss 高级特性-列存储51.1 语法格式51.2 参数说明51.3 示例 openGauss学习笔记-51 openGauss 高级特性-列存储 openGauss支持行列混合存储。行存储是指将表按行存储到硬盘分区上&#xff0c;列存储是指将表按列存储到硬盘分区上。 行、列…
阅读更多...
el-backtop返回顶部的使用

el-backtop返回顶部的使用

2023.8.26今天我学习了如何使用el-backtop组件进行返回页面顶部的效果&#xff0c;效果如&#xff1a; <el-backtop class"el-backtop"style"right: 20px; bottom: 150px;"><i class"el-icon-caret-top"></i></el-backtop&…
阅读更多...
最新文章

Copyright @ 2022~2023