利用 Claude 3 on Amazon Bedrock 和 Streamlit 的“终极组合”，开发智能对话体验

0fee9371cfb67ce68a5a2f8fcf2a3130.gif

概述

通过本文，您将学会如何利用 Streamlit 框架快速搭建前端交互界面。该界面将集成图像上传功能，让用户可以方便地提交待处理图片。在后端，我们将借助 Amazon Bedrock 的 Message API，调用 Claude 3 家族中的 Sonnet 模型对图像进行理解和分析。

界面设计还将包含一个聊天窗口，实现人机对话交互。用户可以在此窗口中，基于上传图像提出连续性问题，例如询问图像中元素的性质、场景等详情。值得一提的是，我们将记录历史对话上下文，作为后续问答的参考依据。这一机制确保了对话的连贯性和一致性。

本文将为您一步步讲解实现过程，包括 Streamlit 界面设计、Amazon Bedrock API 集成，以及 Sonnet 模型调用等关键环节。我们还将分享一些实践中的经验和技巧，帮助您进一步提升应用质量和交互体验。

关于 Claude 3

Claude 3 是由 Anthropic 公司开发的一套大型人工智能语言模型。作为 Claude 家族的最新成员，它在自然语言处理、推理和生成等多个领域具有卓越能力。

021381777efc202c74fe273c4468984b.png

Claude 3 的核心优势包括：

  • 强大的多模态能力 – 可同时处理文本、图像、视频等不同模态的输入，在多模态任务上表现出色。

  • 高质量的输出 – 生成的文本内容通顺流畅，语义准确，减少了幻觉性错误。

  • 稳健的推理能力 – 能够有效理解和推理复杂的逻辑关系，完成多步推理任务。

  • 广泛的知识涵盖范围 – 涉及科学、历史、艺术、法律等多个领域的知识。

  • 集成了视觉模型 Sonnet – 赋予了出色的图像理解、分析和生成能力。

  • 强调 AI 伦理和安全 – Claude 3 在设计时注重 AI 系统的安全性和道德操守。

总的来说，Claude 3 凭借强大的自然语言处理、推理和多模态能力，可广泛应用于问答系统、智能写作、内容创作、视觉辅助等多个领域，为人类带来高效智能的 AI 助手体验。

312556ebf27a82d43cafe77fbb951343.png

Let’s build

前置条件：开通服务

在进入 Amazon Bedrock 服务后，需要以下几个步骤：

  1. 在侧边栏点击“模型访问权限”

  2. 在右上角点击“管理模型访问权限”

  3. 点击“提交应用场景详细信息”

  4. 在 Anthropic 下找到 Claude 3 Sonnet 模型，并在前面打勾

  5. 最后在右下角点击“保存更改”

220dedab2c7f069a49bb21c4b42b358a.png

开通后，我们可以看到模型后面的访问状态，已经是处于“已授予访问权限”。

在本地配置访问权限

通过 IAM User 的 AK/SK 获取后，使用 aws-cli 命令行工具配置，您在本地程序访问亚马逊云科技服务的权限。

aws configure

由于访问权限的配置不是本文的重点，因此可以直接参考此文档： 

  • 使用 IAM 用户凭证进行身份验证

    https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/cli-authentication-user.html

Show Me The Code

在我们接下来的项目开发过程中，需要用到的主要框架包括亚马逊云科技提供的 Python SDK boto3，以及用于构建数据应用的流行开源框架 Streamlit。

boto3

boto3 是亚马逊云科技官方推出的 Python SDK，它提供了一组友好的面向对象的 API，使 Python 开发人员能够轻松地与亚马逊云科技的各种服务进行交互和操作。无论是启动 Amazon EC2 实例、部署 Amazon Lambda 函数，还是操作 Amazon S3 存储桶、Amazon DynamoDB 数据库等，boto3 都提供了相应的接口。它极大地简化了亚马逊云科技资源的管理和开发，是进行亚马逊云科技云端开发的利器。

Streamlit

Streamlit 则是一个用 Python 构建的开源框架，旨在让数据科学家以最简单、最高效的方式创建丰富的数据应用程序和交互式数据产品。它支持多种数据类型和数据源的渲染，如 DataFrame、图像、视频等，并允许用户以 Python 脚本的形式编写界面逻辑。Streamlit 的响应式布局、缓存机制等特性使其构建可视化分析和数据产品的体验非常流畅。

总的来说，boto3 帮助我们高效操作亚马逊云科技资源，而 Streamlit 则为构建数据应用提供了极佳的支持。两者结合将大大加快我们的开发效率。

关键代码解析

bedrock_runtime = boto3.client(
    service_name='bedrock-runtime',
    region_name=REGION,
)


model_id = 'anthropic.claude-3-sonnet-20240229-v1:0'


response = bedrock_runtime.invoke_model(
    body=body, modelId=model_id)
response_body = json.loads(response.get('body').read())

通过 boto3 我们可以轻松创建 bedrock-runtime 的客户端，然后通过这个客户端的 invoke_model 来调用 Claude 模型。其中 modelId 就是 Claude 3 的模型。

接下来对 request 中需要传入的 body 进行代码展示：

message = {"role": "user",
           "content": [
               {"type": "text", "text": input_text}
           ]}
if not has_history():
    message["content"].append({"type": "image",
                               "source": {"type": "base64",
                                          "media_type": "image/jpeg",
                                          "data": content_image}})


messages = []


# Get History Messages
if has_history():
    messages.extend(get_chat_history())
messages.append(message)


system_input = """
You are Claude, an AI assistant created by Anthropic to be helpful,harmless, and honest. 
Your goal is to provide informative and substantive responses to queries while avoiding potential harms.
You should answer the questions in the same language with user input text.
"""


body = json.dumps(
    {
        "anthropic_version": "bedrock-2023-05-31",
        "max_tokens": max_tokens,
        "system": system_input,
        "messages": messages
    }
)

body 中有 4 个关键参数：

  •  anthropic_version 目前只能填写 bedrock-2023-05-31 ，未来随着模型的迭代应该会有更多可选参数。

  •  max_tokens 是 tokens 最大值的限制，这里是指 input 和 output 的累加值。在新的 Message API 中，每次消耗的 input tokens 和 output tokens 都会在返回值中明确给出。

  •  system 是用来设定 Claude 的“人设”，我们在这里需要设置一些符合我们输出预期的风格，告诉模型即将处理的任务目标，这样可以提高模型针对特定领域问题回答的精度。

  •  messages 是一个包含了角色（role）、信息类型（type）和值（source 或 text）的一个 json 字段。在这个 json 字段中，我们可以提交多个图片和一段文本信息。图片由 base 编码的字符串作为数据传入，目前支持 jpg、png、gif 和 webp 四种格式。历史的聊天记录也会存储在这个字段里面。

在这个样例代码中，我使用了 st.session 来存储会话的上下文信息。

def save_chat_history_message(history: list):
    st.session_state['history'] = history




def has_history():
    return 'history' in st.session_state




def show_chat_history():
    if 'history' not in st.session_state:
        return
    for msg in st.session_state['history']:
        if 'content' not in msg:
            continue
        if type(msg['content']) is list:
            for item in msg['content']:
                if item['type'] == "text":
                    st.chat_message(name=msg['role']).write(item['text'])
                elif item['type'] == "image":
                    continue
        else:
            st.chat_message(name=msg['role']).write(msg['content'])




def get_chat_history():
    if not has_history():
        return []
    return st.session_state['history']




def clear_chat_history_message():
    if 'history' in st.session_state:
        del st.session_state['history']

而历史的聊天记录，我们则需要插入到用户的输入信息中。历史记录将插入到 messages 中。

# Get History Messages
if has_history():
    messages.extend(get_chat_history())

由于 streamlit 每次都是根据代码的顺序去重新渲染界面的，所以我们还需要每次问答的文本记录起来，并且在下一次渲染界面的时候全部重绘。所以 show_chat_history() 这个函数会在每次获得文本输出后，先调用一次。

def show_chat_history():
    if 'history' not in st.session_state:
        return
    for msg in st.session_state['history']:
        if 'input' in msg:
            st.chat_message(name='user').write(msg['input'])
        if 'output' in msg:
            st.chat_message(name='ai').write(msg['output'])

运行测试

运行代码前准备好 python 环境，我测试的是 python3.11 版本，理论上其他版本应该也能运行。

安装依赖包

pip install boto3 streamlit

完整代码

以下是完整代码，新建一个 app.py 的文件。复制粘贴全部代码到 app.py 中。其中 region 字段可以根据实际情况进行配置，这里选择的是 us-west-2 ，需要配置成您在 Amazon Bedrock 中实际开通模型访问的区域。

import base64
import json
import logging


import boto3
import streamlit as st
from botocore.exceptions import ClientError


logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.DEBUG)


st.sidebar.title("Building with Bedrock")  # Title of the application
st.sidebar.subheader("Q&A for the uploaded image")


REGION = "us-west-2"




def save_chat_history_message(history: list):
    st.session_state['history'] = history




def has_history():
    return 'history' in st.session_state




def show_chat_history():
    if 'history' not in st.session_state:
        return
    for msg in st.session_state['history']:
        if 'content' not in msg:
            continue
        if type(msg['content']) is list:
            for item in msg['content']:
                if item['type'] == "text":
                    st.chat_message(name=msg['role']).write(item['text'])
                elif item['type'] == "image":
                    continue
        else:
            st.chat_message(name=msg['role']).write(msg['content'])




def get_chat_history():
    if not has_history():
        return []
    return st.session_state['history']




def clear_chat_history_message():
    if 'history' in st.session_state:
        del st.session_state['history']




def run_multi_modal_prompt(bedrock_runtime, model_id, messages, max_tokens):
    """
    Invokes a model with a multimodal prompt.
    Args:
        bedrock_runtime: The Amazon Bedrock boto3 client.
        model_id (str): The model ID to use.
        messages (JSON): The messages to send to the model.
        max_tokens (int): The maximum  number of tokens to generate.
    Returns:
        None.
    """


    system_input = """
    You are Claude, an AI assistant created by Anthropic to be helpful,harmless, and honest. 
    Your goal is to provide informative and substantive responses to queries while avoiding potential harms.
    You should answer the questions in the same language with user input text.
    """


    body = json.dumps(
        {
            "anthropic_version": "bedrock-2023-05-31",
            "max_tokens": max_tokens,
            "system": system_input,
            "messages": messages
        }
    )


    response = bedrock_runtime.invoke_model(
        body=body, modelId=model_id)
    response_body = json.loads(response.get('body').read())


    return response_body




def main():
    """
    Entrypoint for Anthropic Claude multimodal prompt example.
    """


    try:


        bedrock_runtime = boto3.client(
            service_name='bedrock-runtime',
            region_name=REGION,
        )


        model_id = 'anthropic.claude-3-sonnet-20240229-v1:0'
        max_tokens = 4096
        st.sidebar.header("What image would you like to analyst?")
        uploaded_file = st.sidebar.file_uploader("Upload an image",
                                                 type=['jpg', 'jpeg', 'png', 'gif', 'webp'],
                                                 on_change=clear_chat_history_message)
        content_image = None
        if uploaded_file:
            st.sidebar.image(uploaded_file)
            content_image = base64.b64encode(uploaded_file.read()).decode('utf8')


        # Read reference image from file and encode as base64 strings.


        input_text = st.chat_input(placeholder="What do you want to know?")
        if content_image:
            if input_text:
                show_chat_history()
                st.chat_message(name='user').write(input_text)
                message = {"role": "user",
                           "content": [
                               {"type": "text", "text": input_text}
                           ]}
                if not has_history():
                    message["content"].append({"type": "image",
                                               "source": {"type": "base64",
                                                          "media_type": "image/jpeg",
                                                          "data": content_image}})


                messages = []


                # Get History Messages
                if has_history():
                    messages.extend(get_chat_history())
                messages.append(message)
                with st.spinner('I am thinking about this...'):
                    response = run_multi_modal_prompt(bedrock_runtime, model_id, messages, max_tokens)


                st.chat_message(name='assistant').write(response.get("content")[0].get("text"))
                messages.append({
                    "role": "assistant",
                    "content": response.get("content")[0].get("text")
                })
                save_chat_history_message(messages)
                logger.debug(json.dumps(response, indent=4))


    except ClientError as err:
        message = err.response["Error"]["Message"]
        logger.error("A client error occurred: %s", message)




if __name__ == "__main__":
    main()

运行

在命令行模式下，使用 streamlit run app.py 来运行。

d029a2bd19124aabbe60d73bcb003d83.jpeg

应用会在本地启动一个 8501 端口，并且自动在浏览器中打开应用。

界面中，侧边栏包含一个可以上传图片的组件，右边则是一个聊天窗口。

测试

初体验——看图计算

c224ac3bde2980c495c8eca20ffa59fc.png

我们上传一张描述三角形的图片，并输入 计算它的面积 ，让大语言模型计算它的面积。

dac83462a13d86ab59e6819a69260285.png

我们可以看到 Claude 3 已经识别到这是一个三角形，并且准确的获取来三角形的“底”和“高”，并通过面积公式来计算出了这个三角形的面积。

再体验——上下文记忆

我们输入 假设它的高是 4cm 呢？ ，看看应用是否能够获取上下文并理解当前设定。依然能正确给出答案。

bacb12878e9ebaa5d73719263bd1c17f.png

我们看到了答案，结果依然计算正确，说明这个应用能够正确理解上下文。虽然在第二个问题中，我们并没有明确说是计算面积，但是通过上图的回答，依然可以获得我们想要的答案。

总结

在 Claude 3 支持的多模态场景下，我们尝试了让模型去理解一个数学问题，并根据图片内容计算相关结果。除此之外，Claude 3 在归因、文本理解、多语言等方面相对 Claude 2 都有大幅度的性能提升。您可以根据本文提供的样例代码，构建您自己专属的 AI Bot。甚至您还可以尝试使用 Agents for Amazon Bedrock 来整合工作流，以构建更加专注于某个领域的智能体。

参考链接

  • Anthropic Claude Messages API – Amazon Bedrock

    https://docs.aws.amazon.com/bedrock/latest/userguide/model-parameters-anthropic-claude-messages.html

  • streamlit.io

    https://streamlit.io/

  • AgentsforBedrockRuntime – Boto3 1.34.58 documentation

    https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock-agent-runtime.html

  • 使用 IAM 用户凭证进行身份验证

    https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/cli-authentication-user.html

您仍然可以继续领略 Amazon Bedrock 上包括 Mistral, llama2 等领先的基础模型的魅力，对于 Amazon Bedrock 上的 Claude 3 模型，如果您的业务有出海需求，可以由您的海外关联公司在海外访问亚马逊云科技海外区域提供的相关模型，感受先进技术带来的无限可能，感谢您的支持与理解！

本篇作者

187430168eb2e793195cb0663634685b.jpeg

林业

亚马逊云科技资深解决方案架构师，负责基于亚马逊云科技的云计算方案的咨询与架构设计。拥有超过 14 年研发经验，曾打造千万级用户 APP，多项 Github 开源项目贡献者。在游戏、IoT、智慧城市、汽车、电商等多个领域都拥有丰富的实践经验。

aa7d29c9628b5906e7ea630c32a49218.gif

星标不迷路，开发更极速！

关注后记得星标「亚马逊云开发者」

b186d734b39fb30d68411f1f5430ada8.gif

听说，点完下面4个按钮

就不会碰到bug了！

cb291fba290b3a2da0c97cb26cfb0b9b.gif

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/473964.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

java系统部署到Linux

java系统部署到Linux

1、安装java 1.8JDK 卸载Open JDK 首先，我们先检查系统是否自带了 JDK。输入命令 java -verison批量删除 rpm -qa | grep java | xargs rpm -e --nodeps下载并安装JDK 我们在 user 目录下建立一个新的 java文件夹，用来存放 JDK文件。 jdk下载地址 …
阅读更多...
上位机图像处理和嵌入式模块部署（qmacvisual拟合直线）

上位机图像处理和嵌入式模块部署（qmacvisual拟合直线）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 测量是图像处理的一个基本技能。那么测量的前提，就是我们需要在图像中找出特定的集合图形，比如说直线。当然，发…
阅读更多...
lsn和redo

lsn和redo

瀚高数据库 目录 文档用途 详细信息 相关文档 记录lsn三种记录形式，以及redo对lsn的操作。 详细信息 一、lsn的三种形式 1. pg_controldata中可以看到这样的lsn表示： Latest checkpoint location: 0/1548018Latest checkpoint’s REDO location: 0/…
阅读更多...
智慧公园：AI智能分析网关V4城市公园视频智能监管方案

智慧公园：AI智能分析网关V4城市公园视频智能监管方案

一、背景分析 随着天气渐渐转暖，城市公园的花卉也逐渐盛开，春暖花开时节，前往公园赏花游玩的城市居民也渐渐多起来，因此安全问题也成为相关监管部门的重要管理任务之一。随着科技的不断进步，智能监控技术已经成为现代…
阅读更多...
Python将字符串转换为datetime

Python将字符串转换为datetime

有这样一些字符串： 1710903685 20240320110125 2024-03-20 11:01:25 要转换成Python的datetime 代码如下： import functools import re from datetime import datetime, timedelta from typing import Union# pip install python-dateutil from date…
阅读更多...
关于Rust的项目结构的笔记

关于Rust的项目结构的笔记

层级 PackageCrateModulePath Package cargo的特性, 构建、测试、共享Crate 组成: 一个 Cargo.toml 文件, 描述了如何构建这些 Crates至少包含一个 crate最多只能包含一个 library crate可以包含任意个 binary crate cargo new demo-pro 会产生一个名为 demo-pro 的 Packa…
阅读更多...
Python 深度学习第二版（GPT 重译）（一）

Python 深度学习第二版（GPT 重译）（一）

前言 序言 如果你拿起这本书，你可能已经意识到深度学习在最近对人工智能领域所代表的非凡进步。我们从几乎无法使用的计算机视觉和自然语言处理发展到了在你每天使用的产品中大规模部署的高性能系统。这一突然进步的后果几乎影响到了每一个行业。我们已经将深度学…
阅读更多...
MATLAB三维图形的绘制

MATLAB三维图形的绘制

1，三维曲线 plot3(x,y,z)通过描点连线画出曲图，这里x,y,z都是n维向量，分别表示该曲线上点集的横坐标，纵坐标，竖坐标。 t0:pi/50:10*pi; subplot(121),plot3(sin(t),cos(t),t); subplot(122),fplot3((t)sin(t),(t)cos…
阅读更多...
Linux集群

Linux集群

前言： 环境准备：虚拟机，xshell，mysql，tomcat，jdk，centos 虚拟机安装centos可以参考博客：虚拟机安装centos 一，安装jdk 打开xshell 点击cftp，如果没有安装…
阅读更多...
HarmonyOS（鸿蒙）应用开发——（一）

HarmonyOS（鸿蒙）应用开发——（一）

目录 1 创建hellopro项目 2 了解ArkTS 3 了解ArkTS的组件 4 组件介绍 4.1 常用基础组件： 4.1.1 Text 4.1.2 Button 4.1.3 TextInput 4.2 容器组件 4.2.1 Column 4.2.2 Row 5 案例——实现一个简易登录页面 5.1 在实现预览效果之前，我们…
阅读更多...
记录开发STM32遇到的卡死问题-串口

记录开发STM32遇到的卡死问题-串口

背景：以STM32作为主控，广州大彩显示屏显示，主控实时采集数据，串口波特率115200.设置收发频率为50Hz，即单片机每秒发送50帧数据，每秒接收50帧数据，每帧数据大概14字节。 问题：系统长…
阅读更多...
Cronos zkEVM 基于 Covalent Network（CQT）数据可用性 API，推动其 Layer2 DeFi 生态更好地发展

Cronos zkEVM 基于 Covalent Network（CQT）数据可用性 API，推动其 Layer2 DeFi 生态更好地发展

在一项旨在显著改善 DeFi 生态的战略举措中，Cronos 与 Covalent Network（CQT）携手合作，以期待 Cronos zkEVM 的推出。这一整合，预计将进一步降低以太坊生态系统的交易成本、提升交易速度，并带来更好的交易体…
阅读更多...
ZnO非线性电阻片功率损耗的频率特性

ZnO非线性电阻片功率损耗的频率特性

对不同频率正弦交流电压作用下直流氧化锌阀片的功率损耗进行了测量。图3.16(a)和(b)分别为试品类型A和试品类型B两种直流ZnO阀片在不同频率电压作用下的功率损耗随荷电率变化的特性。两种阀片的功率损耗都随频率和荷电率的增加而增加。当频率达到1kHz或以上时,阀片的功率损耗增…
阅读更多...
SQLiteC/C++接口详细介绍sqlite3_stmt类（二）

SQLiteC/C++接口详细介绍sqlite3_stmt类（二）

返回目录：SQLite—免费开源数据库系列文章目录 上一篇：SQLiteC/C接口详细介绍sqlite3_stmt类简介 下一篇：SQLiteC/C接口详细介绍sqlite3_stmt类（三） sqlite3_reset() 功能：重置一个准备好执行的SQL语…
阅读更多...
IDEA之This license XXXX has been suspended

IDEA之This license XXXX has been suspended

IDEA激活码突然报如下错误: This license XXXXX has been suspended. Please contact your license administrator 解决方案: IDEA版本2022.2.3，亲测管用
阅读更多...
【机器学习智能硬件开发全解】（十一）—— 政安晨：通过ARM-Linux掌握基本技能【C语言程序的链接过程】

【机器学习智能硬件开发全解】（十一）—— 政安晨：通过ARM-Linux掌握基本技能【C语言程序的链接过程】

政安晨的个人主页：政安晨 欢迎 👍点赞✍评论⭐收藏 收录专栏: 机器学习智能硬件开发全解 希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提出指正！ 前言 我们回顾一下上篇文章： 【机器学习…
阅读更多...
软件企业在咨询第三方软件测试机构报价时，应提前准备什么资料?

软件企业在咨询第三方软件测试机构报价时，应提前准备什么资料?

近年来，随着软件行业的迅速发展，软件企业对于软件质量的重视程度日益增加。为了确保软件产品的质量以及用户的满意度，越来越多的企业倾向于委托第三方软件测试机构进行测试工作。在咨询第三方软件测试机构报价之前，软件企业需要提…
阅读更多...
SQLiteC/C++接口详细介绍sqlite3_stmt类（四）

SQLiteC/C++接口详细介绍sqlite3_stmt类（四）

返回：SQLite—系列文章目录 上一篇：SQLiteC/C接口详细介绍sqlite3_stmt类（三） 下一篇：SQLiteC/C接口详细介绍sqlite3_stmt类（五） 7. sqlite3_bind_parameter_count函数 sqlite3_bind_param…
阅读更多...
风速预测（八）VMD-CNN-Transformer预测模型

风速预测（八）VMD-CNN-Transformer预测模型

往期精彩内容： 时序预测：LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较-CSDN博客 风速预测（一）数据集介绍和预处理-CSDN博客 风速预测（二）基于Pytorch的EMD-LSTM模型-CSDN博客 风速预测&#xff…
阅读更多...
【实例】React 组件传值方法: Props、回调函数、Context、路由传参

【实例】React 组件传值方法: Props、回调函数、Context、路由传参

React原始传值方法 借用状态管理库的传值见下篇文：MobX 和 Redux 【实例】React 状态管理库 MobX Redux 入门及对比 文章目录 React原始传值方法父组件->子组件 props子组件->父组件 回调函数Context路由传值 父组件->子组件 props 父组件可以通过属性&a…
阅读更多...
最新文章

Copyright @ 2022~2023