二、基础—常用数据结构:列表、元祖、集合、字典、函数等(爬虫及数据可视化)
- 1,字符串
- 2,最常用的是列表(重点掌握)
- 3,元组
- 4,字典(重要)
- 5,集合
- 6,函数(重要)
1,字符串
字符串,截取,连接,输出,重复打印直接*
,r
等原始字符不变
做数据处理时,大部分都是以字符串存在的
有很多的库等,字符串的截取等操作
在python中所有代码默认是UTF-8
的
日常还是建议使用双引号,比较常用
转义字符关注一些即可,如想要输入一个斜杠\
,需要\\
在网络爬虫时,可能爬取的文档内容包含一些单引号或双引号等,需要进行转义再进行数据库的存储和显示,否则会出现问题
\\
\’
\”
\n
\t
当爬虫时爬取的文本很长,需要将一些文字截取出来,有一个函数str可以做列表的方式访问
print(r'hello\npython') # 在字符串前面添加一个 r,表示原始字符串,不会发生转义
在后面爬虫会经常用到r
,所有的\
等不进行解释直接输出,将别人爬取出的文字内容,最好在前面加个r
这样中间的内容全部保存下来,显示到网页也是可以保存原来的格式的
str='chengdu'
print(str) # 输出字符串
print(str[0:-1]) # 输出第一个到倒数第二个的所有字符
print(str[0]) # 输出字符串第一个字符
print(str[2:5]) # 输出从第三个开始到第五个的字符
print(str[2:]) # 输出从第三个开始后的所有字符
print(str * 2) # 输出字符串两次
print(str + '你好') # 连接字符串
print(str[:5]) # 输出第五个字母前的所有字符
print(str[0:7:2]) # [起始:终止:步长]
print('------------------------------')
print('hello\nchengdu') # 使用反斜杠(\)+n转义特殊字符
print(r'hello\npython') # 在字符串前面添加一个 r,表示原始字符串,不会发生转义
字符串常见操作:
isdigit()
等可以判断是否是一个数字
join(seq)
以指定字符串作为分隔符,将 seq 中所有的元素(的字符串表示)合并为一个新的字符串
lstrip()
截掉字符串左边的空格或指定字符。去除空格等在爬虫时经常用,有些文字有空格,需要去掉再进行存储,有利于计算
isalnum()
如果字符串至少有一个字符并且所有字符都是字母或数字则返 回 True,否则返回False
join(seq)
以指定字符串作为分隔符,将 seq 中所有的元素(的字符串表示)合并为一个新的字符串
split(str="", num=string.count(str)) num=string.count(str))
以 str 为分隔符截取字符串,如果 num 有指定值,则仅截取 num+1 个子字符串
2,最常用的是列表(重点掌握)
列表、元组、字典、集合
列表的使用非常像数组,但不同在于里面的类型可以是不同的
很多爬虫爬取的数据都会在内存中存一下,梳理好后再放到数据库中
学数据结构或者数据库本质在讨论如何高效的管理数据
数组、列表等都是如何对数据进行增删改查、排序等
无论作业,还是爬虫3.2.3的常用操作都会用到
具体使用场景,如在数据库查出了一堆数据,希望排好顺序,不希望再次查询数据库,只希望将页面上存在的内容进行升序降序,可以不用在访问数据库,直接内存操作即可
#-*- codeing = utf-8 -*-
#@Time : 2020/11/18 18:59
#@Author : 招财进宝
#@File : demo2.py
#@Software: PyCharm
namelist =["小王","小李","小张"]
'''
namelist =["小王","小李","小张"]
print(namelist[0])
print(namelist[1])
print(namelist[2])
namelist =[1,"小李"]
print(namelist[0])
print(type(namelist[0]))
print(namelist[1])
print(type(namelist[1]))
'''
'''
namelist =[1,"小王","小李","小张"]
for name in namelist: #此种方法常用需要学会使用
print(name)
#while代码可能多一点,使用的是下标,但有些时候我们需要使用下标和其他的结合的
length=len(namelist)
i=0
while i<length:
print(namelist[i])
i+=1
'''
'''
print("-----增加前,名单列表的数据----")
for name in namelist:
print(name)
#append 增加
nametemp = input("please input name:")
namelist.append(nametemp)
print("-----增加后,名单列表的数据----")
for name in namelist:
print(name)
'''
'''
a=[1,2]
b=[3,4]
a.append(b) #会将b列表作为一个整体元素放倒a列表中,形成了列表的嵌套
print(a)
a.extend(b) #会将b列表中的每个元素,逐一追加到列表中
print(a)
'''
'''
#增: [insert]插入
a =[0,1,2]
a.insert(1,3) #第一个变量表示下标,第二个表示元素(对象)
print(a) #指定下标位置插入元素
'''
'''
#删 [del] [pop]
movieName = ["加勒比海盗","海尔客帝国","第一滴血","指环王","速度与激情"]
print("-----删除前,名单列表的数据----")
for name in movieName:
print(name)
#del movieName[1] # 在指定位置删除一个元素
#movieName.pop() #弹出末尾最后一个元素
movieName.remove("指环王") #直接删除指定内容的元素(当有两个重复数据时,删除的是找到的第一个元素)
print("-----删除后,名单列表的数据----")
for name in movieName:
print(name)
'''
'''
#改:
print("-----增加前,名单列表的数据----")
for name in namelist:
print(name)
namelist[1]="小红" #修改指定下标的元素内容
print("-----增加后,名单列表的数据----")
for name in namelist:
print(name)
'''
'''
#查:不是搜索,主要是判断元素是否在列表中【in ,not in】
findName = input("请输入你要查找的学生姓名:")
if findName in namelist: #不是for in循环,而是if判断某个元素在列表中
print("在列表中找到了学生的名字")
else:
print("没有找到")
'''
'''
# 查 查找指定下标范围的元素并返回对应数据的下标
mylist=["a","b","c","a","b"]
mylist.index("a",1,4) #查询元素“a”是否在第1到4的位置上出现(不包含4),范围区间左闭合,右断开【1,4)
print(mylist.index("a",1,4) ) #能将查到的下标得到
print(mylist.count("c")) #统计某个元素出现几次
'''
'''
#具体使用场景,如在数据库查出了一堆数据,希望排好顺序,不希望再次查询数据库,只希望将页面上存在的内容进行升序降序,可以不用在访问数据库,直接内存操作即可
a=[1,4,2,3]
print(a)
a.reverse() #将列表所有元素反转
print(a)
a.sort() #升序,将列表所有元素从低到高排序
print(a)
a.sort(reverse=True) #降序,将列表所有元素从高到低排序
print(a)
'''
schoolNames = [[],[],[]] #有三个元素的空列表,每个元素都是一个空列表
#嵌套的列表大学可以不同
schoolName = [["北京大学","清华大学"],["南开大学","田径大学","田径师范大学"],["山东大学","中国海洋大学"]]
print(schoolName[0])
print(schoolName[0][0])
#3个办公室,8个老师,随机将其分配到教师
import random
offices=[[],[],[]]
names = ["A","B","C","D","E","F","G","H"]
for name in names:
index = random.randint(0,2) #[0,2]
offices[index].append(name)
i=1
for office in offices: #遍历得到每个办公室
print("办公室%d的人数:%d"%(i,len(office)))
i+=1
for name in office: #遍历得到每个办公室的人名
print("%s"%name,end="\t")
print("\n")
print("-"*20)
嵌套、追加、len、双层for循环等
作业:商品(重要必看)
你所购买的商品有:
共几件,总价是
#作业 打印商品列表
products = [["iphone",6888],["MacPro",14800],["小米6",2499],["Coffee",31],["Book",60],["Nike",699]]
'''
#for productIndex in len(products):
i = 0
for product in products:
print(i,end="\t")
for col in product:
print(col,end="\t")
print("")
i+=1
'''
buyProducts = []
while True:
#用于循环输出商品
for i,product in enumerate(products): #使用枚举函数enumerate()可以同时拿到列表的下标和元素内容
print(i, end="\t")
for col in product:
print(col, end="\t")
print("")
indexStr = input("想要买什么商品,请选择商品编号:")
#判断输入的是否为数字
if indexStr.isnumeric(): #判断字符串是否为数字字符isnumeric()
pass #主要用来占位,无任何操作
else:
print("请输入数字")
continue #进入下一循环,或者break
#判断输入的数字是否在编号内
index = int(indexStr)
if (index>0 and index<len(products)):
pass
else:
continue
#此处是在尾后追加
tempProduct=[]
tempProduct.append(index) #将整体元素追加
tempProduct.extend(products[index]) #将列表中的元素追加
buyProducts.append(tempProduct) #【【1,MacPro,14800】】得到类似此的列表
#判断是否退出
isQ=input("是否退出(退出q/继续y):")
if isQ=="q":
break
#退出后打印保存的商品信息
sumMoney=0
print("你所购买的商品有如下:")
for product in buyProducts:
sumMoney+=product[len(product)-1]
for col in product:
print(col, end="\t")
print("")
i += 1
print("共%d件,总价是%d。"%(len(buyProducts),sumMoney))
3,元组
元组并不是很重要的简单看看即可
主要看课件
Tuple 中元素不能修改,写法也不同,小括号
定义tuple类型时,需要使用“,”隔开 如 t1=(1,)
否则会将t1认为是1的类型,而不是元组的类型
元组的操作可查看课件
#-*- codeing = utf-8 -*-
#@Time : 2020/11/19 9:39
#@Author : 招财进宝
#@File : demo3.py
#@Software: PyCharm
#此章节主要是元组
'''
tup1 = () #创建空的元组
print(type(tup1)) #tup类型<class 'tuple'>
tup2 = (50) #当只有一个数据时,不是元组类型,而是整型的<class 'int'>
print(type(tup2))
tup3 = (50,) #在数据后面加入“,”就是元组的类型了
print(type(tup3))
tup3 = (50,) #在数据后面加入“,”就是元组的类型了
print(type(tup3))
'''
'''
tup1 = ("abc","def",2000,2000,333,444,555)
print(tup1[0])
print(tup1[-1]) #-1表示最后一个
print(tup1[1:5]) #切片,左闭合,右开放
'''
#增
#表面上是增加的过程,实际没有修改,而是连接了
'''
tup1 = (1,2,3)
tup2 = ("abc","def")
tup = tup1+tup2
print(tup)
'''
#删
tup1 = (1,2,3)
print(tup1)
del tup1 #删除整个元组变量,而不是删除其中某个元素
print("删除后:")
print(tup1) #会报错,无定义,前面讲元组变量删除了
#改
tup1 = (1,2,3)
#tup1[0]=100 报错不能修改
#查
4,字典(重要)
字典存储的是键值对(重点)
为了保证想要查询一个键时能快速找到一个值的功能而涉及的
字典中前面的键必须唯一,值可以重复
键必须是不可变的类型,一旦存入,不得更改
字典的定义如下,有键有值,形成键值对
info = {"name":"吴彦祖","age":18}
#-*- codeing = utf-8 -*-
#@Time : 2020/11/19 10:18
#@Author : 招财进宝
#@File : demo4.py
#@Software: PyCharm
#此处主要是字典
'''
#字典的定义
info = {"name":"吴彦祖","age":18}
#字典的访问(通过键找值)
print(info["name"]) #直接访问
print(info["age"])
print(info.get("name")) #get寻找,无找到会返回none
#访问了不存在的键
#print(info["gender"]) 直接访问,会报错
print(info.get("gender")) #使用get方法,没有找到对应的键,默认返回None
print(info.get("gender","m")) #没找到的时候,可以设定默认值
print(info.get("age","m")) #找到了默认值不生效
'''
#字典也是一个数据结构,也需要增删改查
#增
'''
info = {"name":"吴彦祖","age":18}
newID = input("please input newID:")
info["id"] = newID
print(info)
'''
#删
# del 删
'''
info = {"name":"吴彦祖","age":18}
print("删除前:",info)
#删除键值对后,再直接访问不存在的键会报错,可以get寻找
del info["name"] #此处不仅删除键的值,连键也删除了
print("删除后:",info)
'''
'''
info = {"name":"吴彦祖","age":18}
print("删除前:%s"%info) #此种写法也可以
#删除键值对后,再直接访问不存在的键会报错,可以get寻找
del info #直接将字典删除了,字典变量从内存中清除了
print("删除后:%s"%info)
'''
#clear 清空(清空字典内的数据,是字典为空,而不是将整个字典删除)
'''
info = {"name":"吴彦祖","age":18}
print("清空前:%s"%info) #此种写法也可以
#删除键值对后,再直接访问不存在的键会报错,可以get寻找
info.clear() #直接将字典删除了,字典变量从内存中清除了
print("清空后:%s"%info)
print(type(info)) #<class 'dict'>
'''
#改
'''
info = {"name":"吴彦祖","age":18}
#直接通过键访问
info["age"]=20
print(info["age"])
'''
#查
'''
info = {"id":1,"name":"吴彦祖","age":18}
print(info.keys()) #得到所有的键(列表形式),若对单个键进行操作,可以对列表的方式操作即可dict_keys(['id', 'name', 'age'])
print(info.values()) #得到所有的值dict_values([1, '吴彦祖', 18])
print(info.items()) #得到所有的项(列表),每个键值对是一个元组dict_items([('id', 1), ('name', '吴彦祖'), ('age', 18)])
#遍历所有的键
for key in info.keys():
print(key)
#遍历所有的值
for value in info.values():
print(value)
#遍历所有的键值对
for key,value in info.items(): #会自动将项中元组的元素赋值给key和value
print("key=%s,value=%s"%(key,value))
'''
mylist = ["a","b","c","d"]
for x in mylist: #此处可以拿到每个元素
print(x)
#但我们既想拿到元素,又想拿到下标,怎么办
#可以使用枚举函数,能同时拿到列表中的下标和元素内容
for i,x in enumerate(mylist): #此处可以拿到每个元素
print(i,x)
5,集合
集合不是重点
简单过一下
仅仅是键集合
在集合只有键没有值,可以用于去重的作用
6,函数(重要)
如果在开发程序时,需要某块代码多次,但是为了提高编写的效率以及代码的重用,所以把具有独 立功能的代码块组织为一个小模块,这就是函数。
课堂练习:
1.写一个打印一条横线的函数。(提示:横线是若干个“-”组成)
2.写一个函数,可以通过输入的参数,打印出自定义行数的横线。(提示:调用上面的函数)
3.写一个函数求三个数的和
4.写一个函数求三个数的平均值(提示:调用上面的函数)
【建议每题5分钟以内】
#-*- codeing = utf-8 -*-
#@Time : 2020/11/19 14:21
#@Author : 招财进宝
#@File : demo1.py
#@Software: PyCharm
#函数
'''
#函数的定义(不会被执行)
def printinfo():
print('------------------------------------')
print(' 人生苦短,我用Python')
print('------------------------------------')
#函数的调用
printinfo()
'''
'''
#带参数的函数
def add2Num(a,b):
c=a+b
print(c)
add2Num(1,2)
'''
'''
#带返回值的函数
def add2Num(a,b):
return a+b #通过return来返回运算结果
result = add2Num(11,12)
print(result)
'''
'''
#返回多个值的函数(需要使用多个值接收)
def divid(a,b):
shang = a/b
yushu = a%b
return shang,yushu #多个返回值用逗号隔开
sh,yu=divid(5,2) #需要使用多个值来保存内容
print("商:%d,余数:%d"%(sh,yu))
'''
# 课堂练习:
# 1.写一个打印一条横线的函数。(提示:横线是若干个“-”组成)
# 2.写一个函数,可以通过输入的参数,打印出自定义行数的横线。(提示:调用上面的函数)
# 3.写一个函数求三个数的和
# 4.写一个函数求三个数的平均值(提示:调用上面的函数)
'''
#以下是自己编写的
def printH():
print("-"*10)
def printHNum(a):
for i in range(a):
printH()
def sumThree(a,b,c):
return a+b+c
def evThree(a,b,c):
ev = sumThree(a, b, c)/3
return ev
printH()
printHNum(3)
print(sumThree(1,2,3))
print(evThree(1,2,3))
'''
'''
#下方为练习的答案
# 打印一条横线
def printOneLine():
print("-"*30)
# 打印多条横线
def printNumLine(num):
i=0
# 因为printOneLine函数已经完成了打印横线的功能,
# 只需要多次调用此函数即可
while i<num:
printOneLine()
i+=1
printNumLine(3)
# 求3个数的和
def sum3Number(a,b,c):
return a+b+c # return 的后面可以是数值,也可是一个表达式
# 完成对3个数求平均值
def average3Number(a,b,c):
# 因为sum3Number函数已经完成了3个数的就和,所以只需调用即可
# 即把接收到的3个数,当做实参传递即可
sumResult = sum3Number(a,b,c)
aveResult = sumResult/3.0
return aveResult
# 调用函数,完成对3个数求平均值
result = average3Number(11,2,55)
print("average is %d"%result)
'''
#全局变量和局部变量
'''
#局部变量(出了函数之后就无效了,不会相互影响)
def test1():
a=300 #局部变量
print("test1---修改前:a=%d"%a)
a = 100
print("test1---修改后:a=%d" % a)
def test2():
a=500 #不同的函数可以定义相同的名字,彼此无关
print("test2---:a=%d" % a)
test1()
test2()
'''
'''
a=100 #全局变量
def test1():
print("test1---:a=%d" % a)
def test2():
print("test2---:a=%d" % a) #调用全局变量a
test1()
test2()
'''
'''
#全局变量和局部变量名称相同
a=100 #全局变量
def test1():
a=300 #局部变量优先使用(test1修改的是自己的变量)
print("test1---修改前:a=%d"%a)
a = 200
print("test1---修改后:a=%d" % a)
def test2():
print("test2---:a=%d" % a) #没有局部变量,默认使用全局变量
test1()
test2()
'''
#若就想在函数内访问全局变量,并在函数中将全局变量修改
#需要在局部变量声明一下
a=100 #全局变量
def test1():
global a #声明全局变量在函数中的标识符
print("test1---修改前:a=%d"%a)
a = 200
print("test1---修改后:a=%d" % a)
def test2():
print("test2---:a=%d" % a) #没有局部变量,默认使用全局变量
test1()
test2()
result = average3Number(11,2,55)
print("average is %d"%result)