像素我们不陌生,图像我们更不陌生。
学习计算机视觉,我觉得第一步就是要了解我们要处理的对象,就像上一篇说到的,计算机视觉任务中,图像(像素)是原材料,算法是菜谱。
了解了图像的特征,才可以更好的完成更多图像处理任务,比如对一张图片进行分类,或者对一张图片画框做检测。
大模型的图像生成
多模态大模型,输入一句话便可以让模型画出一张图片出来,内部计算机对于画图所理解的,也是基于图像像素间的关系特征来实现的。
比如今天我在某平台上输入了下面一句话,希望可以帮我画出“战士军前半死生,美人帐下犹歌舞”的画面。
大模型通过语言描述直接生成绘画的技术:简单说就是先把自然语言转换为一种AI的内部特征空间表示,然后由模型内部特征空间表示转换为图像。
也就是由 A -> 内部特征 - > B 的过程,而内部特征是统一的,如此一来,大模型不仅可以实现语言描述转换为图片,也可以实现图片描述转换为文字(看图写作),也可以实现图片转换为音频。
这也就是所谓的多模态,因为AI的中间特征是一致的,这些特征表示,很大程度上是基于