1. AI赋能的代码编写
传统上,IDE的重要功能之一,就是代码自动完成、语法高亮、文档提示、错误诊断等等。随着人类进入深度学习时代,AI辅助编码则让程序员如虎添翼。
我们首先介绍几个AI辅助编码的工具,然后再介绍常规的语法高亮、文档提示等功能。
1.1. github copilot
github copilot是github官方出品的AI辅助编码工具。它是基于大规模语料、超大规模的深度学习模型,结合了大量的编程经验,为开发者提供代码补全、代码片段联想、代码推荐等功能。copilot可以根据用户输入的一行注释,自动生成代码片段甚至整个函数,功能十分强大。
比如,我们写一段注释如下:
# create a fibonacci series up to nth term
然后回车,copilot就会写出下面的代码:
def fibonacci(n):
if n <= 1:
return n
else:
return fibonacci(n-1) + fibonacci(n-2)
这个函数还有一个尾递归版本,当然copilot也能提供。一般情况下,copilot能提供10个以内的备选答案。
我们再举一个例子,如果有以下注释:
设置npm中国加速镜像
你会立即得到以下代码:
npm install -g cnpm --registry=https://registry.npm.taobao.org
再也不用记忆这些奇怪的设置了!
我们再试一个例子:
# 读取csv文件,并返回一个数组对象
def read_csv(filename):
with open(filename, 'r') as f:
reader = csv.reader(f)
return list(reader)
# 将数组对象转换为json字符串
def to_json(data):
return json.dumps(data)
# 将json发送到github
def send_json(json_data):
url = 'https://api.github.com/repos/udacity/ud120-projects/issues'
headers = {
'Authorization': '' # 请填写你的token
}
r = requests.post(url, json_data, headers=headers)
def main():
data = read_csv('foo.csv')
json_data = to_json(data)
send_json(json_data)
在上述例子中,我们只写了三行注释,copilot自动帮我们填充了代码。在send_json那个方法里,copilot在headers中提示输入’Authorization’字段,并提示这里要给出token,这个填充很有意思,它因为github这个API正好是通过token认证的。当然,由于信息过少,它给的url几乎肯定是错的,这也在情理之中。
比较有意思的是main函数。我只定义了main()方法的函数头,copilot居然自动完成了所有功能的串联,而且应该说,符合预期。
如果上面的例子过于简单,你可以写一些注释,请求copilot为你抓取加密货币价格,通过正则表达式判断是否是有效的邮箱地址,或者压缩、解压缩文件等等。你会发现,copilot的能力是非常强大的。
copilot的神奇之处,绝不只限于上面的举例。作者在实践中确实体验过它的超常能力,比如在单元测试中,自动生成数据序列,或者在生成的代码中,它的错误处理方案会比你自己能写出来的更细腻,等等。但是,要演示那样复杂的功能,已经超出了一本书所以展现的范围了。
这是一些使用者的感言:
所以,Don’t fly solo!(copilot广告语),如果有可能,当你在代码的世界里遨游时,还是让copilot来伴飞吧。当然,copilot也有其不足,其中最重要的一点是,不能免费使用(学生除外),而且每个月10美金的费用对中国程序员来讲可能并不便宜。不仅如此,目前它只接受信用卡和paypal付款,因此在支付上也不够方便。
1.2. tabnine
另一个选项是tabnine,与copilot一样,它也提供了从自然语言到代码的转换,以及整段函数的生成等功能。一些评论认为,它比copilot多出的一个功能是,它能基于语法规则在一行还未结束时就给出代码提示,而copilot只能在一行结束后给出整段代码,即copilot需要更多的上下文信息。
tabnine与copilot的值得一提的区别是它的付费模式。tabnine提供了基础版和专业版两个版本,而copilot只能付费使用。tabnine的专业版还有一个特色,就是你可以基于自己的代码训练自己的私有AI模型,从而得到更为个性化的代码完成服务。这个功能对于一些大型公司来说,可能是一个很好的选择。它的另一个优势就是,它在训练自己时只使用实行宽松开源许可证模式的代码,因此,你的代码不会因为使用了tabnine生成的代码,就必须开源出去。
GPT code clippy是Github copilot的开源替代品,如果既不能用copilot,也不能使用tabnine,也可以试试这个。不过在我们成文的时候,它还没有提供一个发行版的vscode扩展,只能通过源码安装。
!!!Info
说到AI辅助编码,不能不提到这一行的先驱 - Kite。Kite成立于2014年,致力于AI辅助编程,于2021年11月关闭。由于切入市场过早,kite的技术路线也必然相对落后一些,其AI辅助功能主要是基于关键词联想代码片段的模式。等到2020年github的copilot横空出世时,基于大规模语料、超大规模的深度学习模型被证明才是最有希望的技术路线。而此时kite多年以来的投入和技术积累,不仅不再是有效资产,反而成为了历史包袱。往新的技术路线上的切换的代价往往是巨大的 – 用户体验也难免改变,而且新的模型所需要的钞能力,kite也并不具备。
2021年11月16日,创始人Adam Smith发表了一篇告别演说,对kite为什么没有成功进行了反思,指出尽管Kite每个月有超过50万月活跃用户,但这么多月活跃用户基本不付费,这最终压垮了kite。当然,终端用户其实也没有错,毕竟copilot的付费模式能够行得通。人们不为kite付费,也确实是因为kite还不够好。
属于kite的时代已经过去了,但正如Adam Smith所说,未来是光明的。AI必将引发一场编程革命。kite的试验失败了,但催生这场AI试验的所有人:投资人,开发团队以及最终用户,他们的勇气和贡献都值得被铭记。
作为一个曾经使用过kite,也欠Kite一个会员的使用者,我也在此道声感谢与珍重!
尽管AI辅助编程的功能很好用,但仍然有一些场景,我们需要借助传统的工具,比如pylance。pylance是微软官方出品的扩展。vscode本身只是一个通用的IDE框架,对具体某个语言的开发支持(编辑、语法高亮、语法检查、调试等),都是由该语言的扩展及语言服务器(对python而言,有jedi和pylance两个实现)来实现的,因此,pylance是我们在vscode中开发python项目时,必须安装的一个扩展。
它可以随用户输入时,提示函数的签名、文档和进行参数的类型提示,如下图所示:
Pylance在上面提到的代码自动完成之外,还能实现依赖自动导入。此外,由于它脱胎于语法静态检查器,所以它还能提示代码中的错误并显示,这正是到目前为止,像copilot这样的人工智能还做不太好的地方。源码级的查错,使得我们可以尽早修正这些错误,这也正是静态语言程序员认为Python做不到的地方。
2. Type Hint (Type Annotations)
很多人谈到Python时,会觉得它作为一种动态语言,是没有类型检查能力的。这种说法并不准确,Python是弱类型语言,变量可以改变类型,但在运行时,仍然会有类型检查,类型检查失败,就会抛出TypeError:
下面的例子演示了Python中变量是如何改变类型的,以及类型检查只在运行时进行的这一特点:
>>> one = 1
... if False:
... one + "two" # 这一行不会执行,所以不会抛出TypeError
... else:
... one + 2
...
3
>>> one + "two" # 运行到此处时,将进行类型检查,抛出TypeError
TypeError: unsupported operand type(s) for +: 'int' and 'str'
... one = "one " # 变量可以通过赋值改变类型
... one + "two" # 现在类型检查没有问题
one two
但Python曾经确实缺少静态类型检查的能力,这是Python一直以来为人诟病的地方。毕竟,错误发现的越早,修复成本就越低。但这正在成为历史。
类型注解从python 3.0(2006年,PEP 3107,当时还叫function annotations)时被引入,但它的用法和语义并没有得到清晰定义,也没有引起广泛关注和运用。数年之后,PEP 484(type hints including generics)被提出,定义了如何给python代码加上类型提示,这样,type annotation就成为实现type hint的主要手段。因此,当今天人们提到type annotation和type hint时,两者基本上是同一含义。
PEP 484是类型检查的奠基石。但是,仍然有一些问题没有得到解决,比如如何对变量进行类型注解?比如下面的语法在当时还是不支持的:
class Node:
left: str
2016年8月,PEP 526(syntax for variable annotations)提出,从此,像上文中的注解也是允许的了。
PEP 563 (Postponed Evaluation of Annotations) 解决了循环引用的问题。在这个提案之后,我们可以这样写代码:
from typing import Optional
class Node:
#left: Optional[Node] # 这会引起循环引用
left: Optional["Node"]
right: Optional["Node"]
注意到我们在类型Node还没有完成其定义时,就要使用它(即要使用Node来定义自己的一个成员变量的类型),这将引起循环引用。PEP 563的语法,通过在注释中使用字符串,而不是类型本身,解决了这个问题。
在这几个重要的PEP之后,随着Python 3.7的正式发布,社区也开始围绕Type Hint去构建一套生态体系,一些非常流行的python库开始补齐类型注解,在类型检查工具方面,除了最早的mypy之外,一些大公司也跟进开发,比如微软推出了pyright(现在是pylance的核心)来给vscode提供类型检查功能。google推出了pytype,facebook则推出了pyre。在类型注解的基础上,代码自动完成的功能也因此变得更容易、准确,推断速度也更快了。代码重构也因此变得更加容易。
类型检查功能将对Python的未来发展起到深远的影响,可能足够与typescript对js的影响类比。围绕类型检查,除了上面提到的几个最重要的PEP之外,还有:
- PEP 483(解释了python中类型系统的设计原理,非常值得一读)
- PEP 544 (定义了对结构类型系统的支持)
- PEP 591 (提出了final限定符)
以及PEP 561等另外18个PEP。此外,还有PEP 692等5个PEP目前还未被正式接受。
Python的类型检查可能最早由Jukka Lehtosalo推动,Guido,Łukasz Langa和Ivan Levkivskyi也是最重要的几个贡献者之一。Jukka Lehtosalo出生和成长于芬兰,当他在剑桥大学计算机攻读博士时,在他的博士论文中,他提出了一种名为“类型注解”(Type Annotations)的语法,从而一统静态语言和动态语言。最初的实验是在一种名为Alore的语言上实现的,然后移植到Python上,开发了mypy的最初几个版本。不过很快,他的工作重心就完全转移到Python上面来,毕竟,Python庞大的用户群和开源库才能提供丰富的案例以供实践。
2013年,在圣克拉拉举行的PyCon会议上,他公布了这个项目,并且得到了与Guido交谈的机会。Guido说服他放弃之前的自定义语法,完全遵循Python 3的语法,即PEP 3107提出的函数注解)。在随后他与Guido进行了大量的邮件讨论,并提出了通过注释来对变量进行注解的方案(不过后来的PEP 526提出了更好的方案)。
在Jukka Lehtosalo从剑桥毕业后,受Guido邀请,加入了Dropbox,领导了mypy的开发工作。
这里也可以看出顶尖大学对待学术研究上的开放和不拘一格。大概在2016年前后,我看到斯坦福的网络公开课上还有讲授ios编程的课,当时也是同样的震撼。一是感叹他们选课之新,二是感叹这种应用型的课程,在国内的顶尖大学里,一般是不会开设的,因为大家会觉得顶尖的学术殿堂,不应该有这么“low”的东西。
在有了类型注解之后,现在我们应该这样定义一个函数:
def foo(name: str) -> int:
score = 20
return score
foo(10)
foo函数要求传入字符串,但我们在调用时,错误地传入了一个整数。这在运行时并不会出错,但pylance将会发现这个错误,并且给出警告,当我们把鼠标移动到出错位置,就会出现如下提示:
下面,我们简要地介绍一下type hint的一些常见用法:
# 声明变量的类型
age: int = 1
# 声明变量类型时,并非一定要初始化它
child: bool
# 如果一个变量可以是任何类型,也最好声明它为Any。zen of python: explicit is better than implicit
dummy: Any = 1
dummy = "hello"
# 如果一个变量可以是多种类型,可以使用Union
dx: Union[int, str]
# 从python 3.10起,也可以使用下面的语法
dx: int | str
# 如果一个变量可以为None,可以使用Optional
dy: Optional[int]
# 对python builtin类型,可以直接使用类型的名字,比如int, float, bool, str, bytes等。
x: int = 1
y: float = 1.0
z: bytes = b"test"
# 对collections类型,如果是python 3.9以上类型,仍然直接使用其名字:
h: list[int] = [1]
i: dict[str, int] = {"a": 1}
j: tuple[int, str] = (1, "a")
k: set[int] = {1}
# 注意上面的list[], dict[]这样的表达方式。如果我们使用list(),则这将变成一个函数调用,而不是类型声明。
# 但如果是python 3.8及以下版本,需要使用typing模块中的类型:
from typing import List, Set, Dict, Tuple
h: List[int] = [1]
i: Dict[str, int] = {"a": 1}
j: Tuple[int, str] = (1, "a")
k: Set[int] = {1}
# 如果你要写一些decorator,或者是公共库的作者,则可能会常用到下面这些类型
from typing import Callable, Generator, Coroutine, Awaitable, AsyncIterable, AsyncIterator
def foo(x:int)->str:
return str(x)
# Callable语法中,第一个参数为函数的参数类型,因此它是一个列表,第二个参数为函数的返回值类型
f: Callable[[int], str] = foo
def bar() -> Generator[int, None, str]:
res = yield
while res:
res = yield round(res)
return 'OK'
g: Generator[int, None, str] = bar
# 我们也可以将上述函数返回值仅仅声明为Iterator:
def bar() -> Iterator[str]:
res = yield
while res:
res = yield round(res)
return 'OK'
def op() -> Awaitable[str]:
if cond:
return spam(42)
else:
return asyncio.Future(...)
h: Awaitable[str] = op()
# 上述针对变量的类型定义,也一样可以用在函数的参数及返回值类型声明上,比如:
def stringify(num: int) -> str:
return str(num)
# 如果函数没有返回值,请声明为返回None
def show(value: str) -> None:
print(value)
# 你可以给原有类型起一个别名
Url = str
def retry(url: Url, retry_count: int) ->None:
pass
此外,type hint还支持一些高级用法,比如TypeVar, Generics, Covariance和contravariance等,这些概念在PEP484中有定义,另外,PEP483和understanding typing可以帮助读者更好地理解类型提示,建议感兴趣的读者深入研读。
如果您的代码都做好了type hint,那么IDE基本上能够提供和强类型语言类似的重构能力。需要强调的是,在重构之前,你应该先进行单元测试、代码lint和format,在没有错误之后,再进行重构。如此一来,如果重构之后,单元测试仍然能够通过,则基本表明重构是成功的。
3. PEP8 - python代码风格指南
PEP8是2001年由Guido等人拟定的关于python代码风格的一份提案。PEP8的目的是为了提高python代码的可读性,使得python代码在不同的开发者之间保持一致的风格。PEP8的内容包括:代码布局,命名规范,代码注释,编码规范等。PEP8的内容非常多,在实践中,我们不需要专门去记忆它的规则,只要用对正确的代码格式化工具,最终呈现的代码就一定是符合PEP8标准的。在后面的小节里,我们会介绍这一工具 – black,因此,我们不打算在此处过多着墨。
本文摘录自《Python能做大项目》(暂定名),全书已送审,将由机械工业出版社出版。全文已发表在大富翁官网,您也可以前往提前阅读。