新手学习指南:用Scala采集外卖平台

学习爬虫不是一蹴而就的,在掌握相关的知识点的同时,还要多加练习,学习是一部分,更多的还是需要自己上手操作,这里配合自己学习的基础,以及使用一些爬虫的专有库,就可以轻松达到自己想要的数据。那么今天我将用Scala编程一个爬外面平台的代码,并且做了相关的注释,希望能帮助更多的人。

在这里插入图片描述

在Scala中编写一个爬虫程序需要使用一些库,比如Akka HTTP和Scalaj-REST。首先,你需要在你的项目中添加这些库的依赖。

libraryDependencies += "akka-http" %% "akka-http" % "10.2.0"
libraryDependencies += "com.typesafe.akka" %% "akka-stream" % "2.6.14"
libraryDependencies += "com.typesafe.akka" %% "akka-http-spray-json" % "10.2.0"
libraryDependencies += "org.scalaj" %% "scalaj-http" % "2.5.2"
libraryDependencies +="提取免费代理IP" jshk.com.cn/mb/reg.asp?kefu=xjy&csdn

然后,你可以使用以下代码来编写你的爬虫程序:

import akka.actor.ActorSystem
import akka.http.scaladsl.Http
import akka.http.scaladsl.model._
import akka.stream.ActorMaterializer
import com.typesafe.scalaj.http._
import spray.json.DefaultJsonProtocol

case class LoginForm(username: String, password: String)

case class LoginResponse(access_token: String, refresh_token: String)

case class Order(order_id: String, restaurant_name: String, total_price: String, delivery_address: String)

object Main extends App {
  implicit val system = ActorSystem("my-system")
  implicit val materializer = ActorMaterializer()

  val loginForm = LoginForm("your_username", "your_password")
  val loginResponse = Http().post("duomaimai/api/login", """{"username":"$loginForm.username", "password":"$loginForm.password"}""".stripMargin).asString

  val json = parse(loginResponse body)

  val accessToken = (json \ "access_token").as[String]
  val refreshToken = (json \ "refresh_token").as[String]

  val orders = Http()
    .post("duomaimai/api/orders", """{"access_token":"$accessToken"}""".stripMargin)
    .asString

  val jsonOrders = parse(orders body)

  val orderIds = (jsonOrders \ "orders").as[Seq[Order]]

  orderIds.foreach(order => println(s"订单ID: $order.order_id, 餐厅名称: $order.restaurant_name, 总价: $order.total_price, 送餐地址: $order.delivery_address"))
}

在这个例子中,我们首先定义了登录表单和登录响应的数据结构。然后,我们使用Http()创建一个新的http客户端,post()方法发送一个POST请求到外卖平台的登录接口,然后使用asString()方法获取响应的字符串内容。

接下来,我们使用parse()方法将字符串内容解析为json对象,然后使用as[String]方法获取json对象中的access_token和refresh_token。

接着,我们使用post()方法发送一个POST请求到外卖平台的订单接口,然后使用asString()方法获取响应的字符串内容。然后,我们使用parse()方法将字符串内容解析为json对象,然后使用as[Seq[Order]]方法获取json对象中的订单列表。

最后,我们遍历订单列表,打印出每个订单的ID、餐厅名称、总价和送餐地址。请注意,这只是一个简单的示例,实际的爬虫程序可能需要处理更复杂的情况,比如处理POST请求的正文,处理各种错误和异常,以及处理更复杂的json数据结构。

上面就是我本次编程的全部内容,其实只需要库的搭配使用以及相关的语法问题,正常来说入门采集也是很方便,如果有任何技术上的问题,可以这里留言讨论。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/327609.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Angular系列教程之自定义指令

文章目录 前言指令的基本概念在模板中使用指令总结 前言 在Angular中,指令是一种非常强大的工具,用于扩展HTML元素的功能和行为。它们允许我们创建可重用的组件,并在应用程序中的多个地方使用它们。本文将介绍Angular指令的基础知识&#xf…

【下云】旧笔记本实现私人服务器

背景&缘由&想法 背景: 自己是做Java的,做互联网或者说学计算机的都知道,近几年大环境太差,人却越来越多,造成行业越来越卷;针对Java来说,被迫要学习多方面的知识,工作拧螺…

压力测试+接口测试(工具jmeter)

jmeter是apache公司基于java开发的一款开源压力测试工具,体积小,功能全,使用方便,是一个比较轻量级的测试工具,使用起来非常简单。因 为jmeter是java开发的,所以运行的时候必须先要安装jdk才可以。jmeter是…

3.0.0 网络安全技术

一、端口安全 1、端口隔离 1.1 简介 以太交换网络中为了实现报文之间的二层隔离,用户通常将*不同的端口*加入*不同的VLAN*,实现二层广播域的隔离。只通过VLAN实现报文二层隔离,会浪费有限的VLAN资源,同时也只能实现基础的隔离操…

Python基础知识:整理17 -> 类和对象

1 初识对象 # 1. 设计一个类: 类的属性->成员变量、 类的行为->成员方法 class Student:name None # 记录学生姓名gender None # 记录学生性别age None # 记录学生年龄score None # 记录学生成绩def say(self): # 成员方法return (f"hel…

工业平板定制方案_基于联发科、紫光展锐平台的工业平板电脑方案

工业平板主板采用联发科MT6762平台方案,搭载Android 11.0操作系统, 主频最高2.0GHz,效能有大幅提升;采用12nm先进工艺,具有低功耗高性能的特点。 该工业平板主板搭载了IMG GE8320图形处理器,最高主频为680MHz, 支持108…

019、错误处理:不可恢复错误与panic!

鉴于上一篇文章过长,不方便大家阅读和理解,因此关于Rust中的错误处理, 我将分以下3篇来讲。 另外,随着我们学习的不断深入,难度也会越来越大,但不用担心。接下来只需要让自己的脚步慢一些,认真搞…

软件测试|教你如何使用Python绘制出奥运五环旗

简介 我们之前介绍过使用turtle来绘制正多边形,但是绘制正多边形只是turtle模块最基础的使用,我们可以使用turtle模块绘制出更多不一样的精彩图形,本文就来给大家介绍一个比较简单的turtle绘图实例,绘制奥运五环旗。 初始化参数…

JS | JS调用EXE

JS | JS调用EXE 网上洋洋洒洒一大堆文章提供,然我还是没找打合适的方案: 注册表方案做了如下测试(可行但是不推荐?): 先,键入文件名为 myprotocal.reg 的注册表,并键入一下信息: Windows Registry Editor Version 5.00[HKEY_CLASSES_ROOT\openExe] //协议名…

[开发语言][c++]:Static关键字和全局变量

Static关键字和全局变量 1. 生命周期、作用域和初始化时机2. 全局变量3. Static 关键字3.1 面向过程3.1.1 静态全局变量3.1.2 静态局部变量(单例中会使用)3.1.3 静态函数 3.2 面向对象3.2.1 类内静态成员变量3.2.2 类内静态成员函数 Reference 写在前面&…

有n个水塔,初始每个水塔有a[i]的水,每个水塔一次最多拿b[i]的水,现从1~n依次在水塔中取水,没取完的水全部流入下一个水塔,求最终能取多少水

题目 思路&#xff1a; 假设有两个水塔1和2&#xff0c;分类讨论&#xff1a; 1、当a1 > b1时&#xff0c;2中剩下的水是a2 - b2 a1 - b1 2、当a1 < b1时&#xff0c;1中的水不会流到2中&#xff0c;2中剩下的水是a2 - b2 即最大&#xff08;a - b) 的后缀和 #incl…

【数字电子技术课程设计】多功能数字电子钟的设计

目录 摘要 1 设计任务要求 2 设计方案及论证 2.1 任务分析 2.1.1 晶体振荡器电路 2.1.2 分频器电路 2.1.3 时间计数器电路 2.1.4 译码驱动电路 2.1.5 校时电路 2.1.6 整点报时/闹钟电路 2.2 方案比较 2.3 系统结构设计 2.4 具体电路设计 3 电路仿真测试及结…

CMake tasks.json launch.json

hehedalinux:~/Linux/cmake/cmakeClass$ tree . ├── CMakeLists.txt ├── include │ ├── Gun.h │ └── Soldier.h ├── main.cpp └── src├── Gun.cpp└── Soldier.cpp2 directories, 6 files hehedalinux:~/Linux/cmake/cmakeClass$ launch.json&am…

linux主机的免密登录

实现linux主机之间的相互免密登录 在进行远程登录的时&#xff0c;服务器和主机间进行认证阶段分为&#xff1a; 基于口令认证&#xff08;不安全&#xff0c;易被抓包拦截获取&#xff09; 客户机连接服务器时&#xff0c;服务器将自己的公钥返回给客户机 客户机会将服务器的…

【报错】NVIDIA 驱动版本不兼容 — NVIDIA driver on your system is too old

【报错】NVIDIA 驱动版本不兼容 — NVIDIA driver on your system is too old 报错信息查看torch版本查看nvidia驱动版本 报错信息 CUDA initialization: The NVIDIA driver on your system is too old (found version 11040). Please update your GPU driver by downloading …

29 旋转工具箱

效果演示 实现了一个菜单按钮的动画效果&#xff0c;当鼠标悬停在菜单按钮上时&#xff0c;菜单按钮会旋转315度&#xff0c;菜单按钮旋转的同时&#xff0c;菜单按钮旋转的8个小圆圈也会依次旋转360度&#xff0c;并且每个小圆圈的旋转方向和菜单按钮的旋转方向相反&#xff0…

【SpringMVC】常用注解(续)

在SpringMVC常用注解一文中&#xff0c;已经对一些基本注解&#xff08;有Controller、RequestMapping、ResponseBody、RequestParam&#xff09;进行了简单介绍&#xff1b;在此篇文章中&#xff0c;将继续对剩余的几个常用注解进行简单介绍&#xff0c;有RequestBody、PathVa…

ElasticSearch入门篇

目录 一、 ElasticSearch的定位 二、 什么是倒排索引 三、 什么是全文检索 四、 ElasticSearch的数据存储原理 4.1 ElasticSearch与关系型数据库的数据结构对比 4.2 ElasticSearch的倒排索引原理 一、 ElasticSearch的定位 ElasticSearch是一款开源的分布式 搜索和…

力扣算法之滑动窗口题目--水果成篮

文章目录 题目解析不同之处解决办法解决图示 代码 题目解析 首先我们先看一下题目如下图所示 题目意思也比较容易理解其实就是你有一个篮子这个篮子只能装两个不同种类的水果&#xff0c;问你最多能装多少个水果&#xff0c;这里还贴心的弄了一个样列&#xff0c;121 可以看出…

计算机组成原理 运输层

文章目录 运输层运输层协议概述进程之间的通信运输层的两个主要协议运输层的端口 用户数据报协议 UDPUDP 概述UDP 的首部格式 传输控制协议 TCP 概述TCP 最主要的特点TCP 的连接 可靠传输的工作原理停止等待协议连续 ARQ协议 TCP 报文段的首部格式TCP 可靠传输的实现以字节为单…