DevExpress Office File API是一个专为C#, VB.NET 和 ASP.NET等开发人员提供的非可视化.NET库。有了这个库，不用安装Microsoft Office，就可以完全自动处理Excel、Word等文档。开发人员使用一个非常易于操作的API就可以生成XLS, XLSx, DOC, DOCx, RTF, CSV 和 Snap Report等企业级文件。
出于与可访问性相关的原因，某些业务使用场景要求Office文档为图形内容(图像、图表等)包含有意义的描述/替代文本(Alt text)。Alt Text帮助有视觉障碍的人理解图片和其他图形内容(屏幕阅读器不能正确阅读没有Alt Text的包含图像的文档)。此外，没有Alt Text的文档不能正确导出为可访问的PDF(这些PDF无法通过可访问性验证)。
OpenAI平台提供了解决这一特殊需求/问题的解决方案(OpenAI的生成式AI可以帮助描述Word和Excel文件中的图像和其他图形内容)。在这本文中，我们将向您展示如何将OpenAI模型集成到DevExpress驱动的Office File API应用程序中，并添加缺失的媒体描述和Alt Text。处理完文档后，用户可以将文件导出为可访问的PDF，或者在文档查看器中上传，然后使用屏幕阅读器阅读。
DevExpress Office File API 最新正式版下载(Q技术交流：532598169）
我们创建了一个示例项目来帮助说明策略，这个REST API应用程序包括两个端点：描述Word文档中的图像和Excel文件中的图表。
您可以从GitHub下载这个项目：Office File API – Integrate AI to Generate Accessible Descriptions
实现OpenAI模型API
在您将此解决方案纳入应用程序之前，请务必阅读并理解OpenAI的许可协议和使用条款。
首先，在项目中添加对Azure.AI.OpenAI包的引用，这个包适应OpenAI的REST APIs，因此它们可以在非Azure OpenAI开发中使用。
我们将使用这个API发送请求和处理响应。
下面的代码片段发送一个请求来描述一个图像，并获得一个带有响应的字符串。
class OpenAIClientImageHelper {
OpenAIClient client;
internal OpenAIClientImageHelper(string openAIApiKey) {
client = new OpenAIClient(openAIApiKey, new OpenAIClientOptions());
}
string ConvertDXImageToBase64String(DXImage image) {
using (MemoryStream stream = new MemoryStream()) {
image.Save(stream, DXImageFormat.Png);
byte[] imageBytes = stream.ToArray();
return Convert.ToBase64String(imageBytes);
}
}
internal async Task<string> DescribeImageAsync(OfficeImage image) {
string base64Content = ConvertDXImageToBase64String(image.DXImage);
string imageContentType = OfficeImage.GetContentType(OfficeImageFormat.Png);
return await GetImageDescription($"data:{imageContentType};base64,{base64Content}");
}
internal async Task<string> GetImageDescription(string uriString) {
ChatCompletionsOptions chatCompletionsOptions = new() {
DeploymentName = "gpt-4-vision-preview",
Messages =
{
new ChatRequestSystemMessage("You are a helpful assistant that describes images."),
new ChatRequestUserMessage(
new ChatMessageTextContentItem("Give a description of this image in no more than 10 words"),
new ChatMessageImageContentItem(new Uri(uriString))),
},
MaxTokens = 300
};
Response<ChatCompletions> chatResponse = await client.GetChatCompletionsAsync(chatCompletionsOptions);
ChatChoice choice = chatResponse.Value.Choices[0];
return choice.Message.Content;
}
}Word Processing Document API端点
我们可以在DevExpress支持的Word Processing Document API应用程序中使用上面描述的API，使用Document.Shapes集合检索文档图像。按类型对检索到的形状排序，并检查图像是否包含Alt Text，然后调用上面实现的OpenAIClientImageHelper.GetImageDescription方法来生成图像描述。
public async Task<IActionResult> GenerateImageAltText(IFormFile documentWithImage,
[FromQuery] RichEditFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var server = new RichEditDocumentServer()) {
await RichEditHelper.LoadFile(server, documentWithImage);
server.GenerateAltTextForImages((document) => {
foreach (var shape in document.Shapes) {
if (shape.Type == DevExpress.XtraRichEdit.API.Native.ShapeType.Picture && string.IsNullOrEmpty(shape.AltText))
shape.AltText = imageHelper.DescribeImageAsync(shape.PictureFormat.Picture).Result;
}
});
Stream result = RichEditHelper.SaveDocument(server, outputFormat);
string contentType = RichEditHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}
Spreadsheet Document API端点
您还可以为Excel图表生成Alt Text，我们的项目展示了如何结合Azure OpenAI和Spreadsheet Document APIs来解决这个特殊的需求。
首先，您需要将Excel图表转换为图像，调用Shape.ExportToImage方法从每个图表中获取OfficeImage对象，然后调用上面实现的OpenAIClientImageHelper.GetImageDescription方法来生成图像描述并将其用作Alt Text。
public async Task<IActionResult> GenerateChartAltText(IFormFile documentWithImage,
[FromQuery] SpreadsheetFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var workbook = new Workbook()) {
await SpreadsheetHelper.LoadWorkbook(workbook, documentWithImage);
foreach (var worksheet in workbook.Worksheets) {
foreach (var chart in worksheet.Charts) {
OfficeImage image = chart.ExportToImage();
chart.AlternativeText = await imageHelper.DescribeImageAsync(image);
}
}
Stream result = SpreadsheetHelper.SaveDocument(workbook, outputFormat);
string contentType = SpreadsheetHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}
