工作目录
文件目录:文件所在的目录
工作目录:执行python命令所在的目录
D:.
| main.py
|
+---data
| data.txt
|
+---model
| | model.py
| | train.py
| | __init__.py
| |
| +---nlp
| | | bert.py
|
\---util
| view.py
| __init__.py
我们以上图为例,很容易知道main.py
的文件目录是D:/test/main.py
,而train.py
的文件目录是D:/test/model/train.py
。
但是工作目录是哪个呢?我们打开vscode,可以看到terminal中也显示了一个目录D:\test
,也就是我们项目的目录,我们点一下运行,执行了一个python脚本,输出一个PS D:\test> python -u "d:/test/model/train.py"
在哪里执行的这个脚本呢?D:\test
,这就是我们的【工作目录】
工作目录可以是任何目录,只要能通过python运行就行,例如我们打开一个终端执行我们的train.py
脚本PS C:\Users\xxx> python D:\test\model\train.py
,那么工作目录就变成了C:\Users\xxx
。
读文件
python执行的时候,open函数中相对路径的会以当前的工作目录为基准。例如我们再vscode运行脚本,工作目录是D:\test
,那么就可以直接访问test目录下的所有文件以及所有子目录和子目录下的文件。
如果我们想在main.py访问data中的data.txt文件,很自然可以写出如下代码
with open('data/data.txt') as f:
res = f.read()
print(res)
但如果我们想在train.py中访问data.txt目录怎么办呢?你可能会用相对路径写出如下的代码
with open('../data/data.txt') as f:
res = f.read()
print(res)
但是会报如下错误
Traceback (most recent call last):
File “d:/test/model/train.py”, line 1, in
with open(‘…/data/data.txt’) as f:
FileNotFoundError: [Errno 2] No such file or directory: ‘…/data/data.txt’
这是因为我们执行train.py
文件的目录D:\test
,python会以工作目录为基准目录,即D:\test
,相对路径是相对于工作目录的,因此实际访问的就是D:\test/../data/data.txt
。当然就找不到了。正确的写法就是
with open('data/data.txt') as f:
res = f.read()
print(res)
写文件
我们训练了一个模型,想要把最终的结果保存在model目录中,该怎么办呢?工作目录依然是D:\test
。下面这种写法依然是错误的
with open('tf.pb','w') as f:
f.write('hello world')
一定要明白相对路径是相对于工作目录来说的,我们执行命令的路径是D:\test
,因此最终写入的地方就是D:\test\tf.pb
,而不是model文件夹,正确的写法如下
with open('model/tf.pb','w') as f:
f.write('hello world')
切换工作目录
如果我们把工作目录换掉了,上面的路径就都不对了,例如在C:\users\xxx
目录下执行python命令,那么上面的路径就就变成了C:\users\xxx\data\data.txt
或者C:\users\xxx\model\tf.pb
了,非常的不好用。
- 查看当前工作目录
os.getcwd()
- 切换工作目录 os.chdir(path)
修改train.py和main.py为
import os
cur_dir = os.getcwd()
print(cur_dir)
然后我们打开个终端执行两个脚本
PS C:\Users\xxx> python d:/test/model/train.py
train.py work dir = C:\Users\xxx
PS C:\Users\xxx> python d:/test/main.py
main.py work dir = C:\Users\xxx
发现他们的工作目录都是一样的,重新修改main.py和train.py,并且切换工作目录
# mian.py
import os
cur_dir = os.getcwd()
print("old work dir = ", cur_dir)
os.chdir(r'D:\\test')
cur_dir = os.getcwd()
print("new work dir = ", cur_dir)
with open('data/data.txt') as f:
res = f.read()
print(res)
# train.py
import os
cur_dir = os.getcwd()
print("old work dir = ", cur_dir)
os.chdir(r'D:\\test')
cur_dir = os.getcwd()
print("new work dir = ", cur_dir)
with open('model/tf.pb','w') as f:
f.write('hello world')
PS C:\Users\xxx> python d:/test/main.py
main.py old work dir = C:\Users\xxx
main.py new work dir = D:\test
hello world
绝对路径
我个人喜欢以执行文件的路径作为相对目录的基准。例如执行main.py文件的时候,喜欢以main.py所在的目录D:\test
为基准,执行train.py的时候,喜欢以train.py所在的目录D:\test\model
为基准,这个时候我们可以先获取文件的绝对路径,然后根据这个路径拼接出我们想要的路径来, os.path.abspath(__file__)
可以获取文件的绝对路径,
# main.py
import os
file_path = os.path.abspath(__file__)
file_dir = os.path.dirname(file_path)
print('file_dir=',file_dir)
print("cur work dir = ", os.getcwd())
data_path = os.path.join(file_dir, 'data/data.txt')
print('data_path=',data_path)
with open(data_path,'r') as f:
res = f.read()
print(res)
同样
# train.py
import os
file_path = os.path.abspath(__file__)
file_dir = os.path.dirname(file_path)
print('file_dir=',file_dir)
print("cur work dir = ", os.getcwd())
#
model_path = os.path.join(file_dir, 'tf.pb')
print('model_path=',model_path)
with open(model_path,'w') as f:
f.write('hello world')
PS C:\Users\xxx> python d:/test/model/train.py
file_dir= d:\test\model
cur work dir = C:\Users\xxx
model_path= d:\test\model\tf.pb
很直观了,我们根据文件的目录拼接出我们想要的目录,然后执行读写操作。
导入自定义包/文件
我们util目录中有一个view.py的文件,里面包含了一些工具类和方法
# view.py
class View:
def __init__(self, x, y):
self.x = x
self.y = y
我们想要在train.py中调用该怎么办呢?
import util.view import View
我们以D:\test
为工作目录,执行train.py文件,嘿嘿
Traceback (most recent call last):
File “d:/test/model/train.py”, line 1, in
from util.view import View
ModuleNotFoundError: No module named ‘util’
这是因为python在导入包的时候import xxx
是以文件路径为基准的,即以train.py为基准,发现train.py的目录中并没有util子目录,因此导入失败。聪明的你做了一个简单的修改
import ..util.view import View
发现报了另一个错误
Traceback (most recent call last):
File “d:/test/model/train.py”, line 1, in
from …util.view import View
ValueError: attempted relative import beyond top-level package
这是因为python规定顶层模块不能作为package,我们执行的是train.py文件,那么train.py所在的目录就是顶层模块了,train.py相对导入的的目录不在超出了train.py所在目录,因此导入失败。换句话说就是相对导入只能导入同一个package下的子package或module。
# main.py
import model.train
#train.py
import util.view import View
这种方式依然会报错,虽然我们执行的时main.py文件,但是导入model.train的时候依然会执行train.py文件。
总结一下:
- 相对路径导入时是以当前文件为基准的,当前文件所在的目录就是顶层模块目录
- 相对导入模块不能超出顶层目录,意味者相对导入只能导入当前文件所在目录下的模块或者子package
非常的疑惑,什么时候可以使用
..
呢
包查询路径
相对路径只能导入同一package下的module。要导入不同package下的module可以使用绝对路径。这就非常奇怪了,我们安装的三方库为什么可以在任意文件导入呢?这就不得不说python的库查询机制,python回去默认的一些地方查找安装的package,具体可以通过sys.path来查看
import sys
for path in sys.path:
print(path)
d:\test\model
D:\soft\python3\python37.zip
D:\soft\python3\DLLs
D:\soft\python3\lib
D:\soft\python3
C:\Users\xxx\AppData\Roaming\Python\Python37\site-packages
C:\Users\xxx\AppData\Roaming\Python\Python37\site-packages\win32
C:\Users\x\xxAppData\Roaming\Python\Python37\site-packages\win32\lib
C:\Users\x\xxAppData\Roaming\Python\Python37\site-packages\Pythonwin
D:\soft\python3\lib\site-packages
可以看到除了第一条路径,其余都是跟python的默认安装路径有关。python会按顺序从这些路径里面查找我们安装的package,越靠前的优先级越高。例如我们导入import os
这个库优先从项目路径d:\test
查找os的库,没有找到就接着从第二个路径查找,一直找到D:\soft\python3\Lib
发现有os的库,然后导入。如果我们自己的项目中有一个os的库,就会优先使用项目中的,替换掉lib里面的。
sys.path绝对路径导入自己的包
我们把自己的package也加入到sys.path
中,python就可以找到了,一种简单的方法就是
#train.py
import os
import sys
cur_dir = os.path.dirname(os.path.abspath(__file__))
# 直接导入会找不到模块
#import util.view
# util模块在test目录下,我们把test目录添加到sys.path中
sys.path.append(os.path.dirname(cur_dir))
for path in sys.path:
print(path)
import util.view
# nlp在model下面,sys.path的第一个路径就是d:\test\model
# 可以在d:\test\model下面发现有一个nlp的package,导入成功
from nlp.bert import BERT
sys.path相对路径导入自己的包
sys.path添加相对路径的时候,以哪个目录为基准目录呢?答案是【工作目录】,我们是在d:\test
目录下执行的命令train.py,所以工作目录就是d:\test
,而util
包就是在d:\test
下面的,所以我们
#train.py
import sys
sys.path.append(".")
for path in sys.path:
print(path)
import util.view
忽略python自己的目录,我们可以看到当前有sys.path有两个目录,第一个是d:\test\model
,也就是【文件路径】,python会自动把执行的文件的路径加进来,所以文件目录下的所有package和module都可以通过相对目录的方式找到。第二个是一个.
,这个就是工作目录。因为我们使用的是相对路径导入,而相对路径的基准目录就是d:\test
,.
代表的就是基准目录。
d:\test\model
.
使用绝对路径打印更直观一些
# train.py
import sys
import os
sys.path.append(".")
for path in sys.path:
print(os.path.abspath(path))
import util.view
d:\test\model
d:\test
d:\test
添加到了sys.path
中,因此d:\test
下面的package就都可以访问到了。很明显相对路径很不好用,当我们把工作目录切换到C:\users\xxx
的时候,就又找不到了
PS C:\Users\xxx> python d:/test/model/train.py
d:\test\model
D:\soft\python3\python37.zip
D:\soft\python3\DLLs
D:\soft\python3\lib
D:\soft\python3
C:\Users\xxx\AppData\Roaming\Python\Python37\site-packages
C:\Users\xxx\AppData\Roaming\Python\Python37\site-packages\win32
C:\Users\xxx\AppData\Roaming\Python\Python37\site-packages\win32\lib
C:\Users\xxx\AppData\Roaming\Python\Python37\site-packages\Pythonwin
D:\soft\python3\lib\site-packages
C:\Users\xxx
Traceback (most recent call last):
File “d:/test/model/train.py”, line 6, in
import util.view
ModuleNotFoundError: No module named ‘util’
所以我们最好使用绝对路径来添加
小结
核心诉求就是找到package,为什么会找不到我们自己定义的package呢?因为没有把路径添加到python的包搜索路径里面,怎么添加呢?使用sys.path.append
添加。定位到package的绝对路径,然后添加进去。