日志服务 HarmonyOS NEXT 日志采集最佳实践

作者：高玉龙（元泊）

背景信息

随着数字化新时代的全面展开以及 5G 与物联网（IoT）技术的迅速普及，操作系统正面临前所未有的变革需求。在这个背景下，华为公司自主研发的鸿蒙操作系统（HarmonyOS）应运而生，旨在满足万物互联时代的多元化设备接入、高效协同和安全可靠运行的需求。

HarmonyOS 不仅着眼于智能手机市场，更是全球首个面向全场景智能生态的操作系统，支持从手机、平板电脑到智能家居、穿戴设备乃至工业控制等多种终端形态。2024 年 1 月 18 日正式推出 HarmonyOS NEXT 鸿蒙星河开发者预览，深圳市于 2024 年 3 月 3 日也发布了支持开源鸿蒙原生应用发展的 2024 年行动计划。

图片

日志服务（SLS）介绍

日志服务（SLS，后文简称 SLS）是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。SLS 一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。

图片

在构建复杂而庞大的应用和智能生态系统过程中，SLS 作为开发调试、性能优化、运维监控和故障排查的重要基础设施。为确保各类应用程序能够在鸿蒙操作系统上实现无缝对接并高效利用 SLS，对 SLS SDK 进行 HarmonyOS 原生适配成为必然之举。

此举不仅可以提升鸿蒙生态下应用的稳定性和可靠性，也有助于开发者更好地遵循统一的标准和最佳实践，进一步促进鸿蒙操作系统生态的繁荣与发展。在这种情况下，基于 SLS 的移动应用日志管理和分析将成为不可或缺的工具，基于对 SLS+ 移动应用日志可以帮助开发人员快速定位和解决问题，优化应用性能。

SDK 特性介绍

HarmonyOS 下的 SLS SDK 基于共同的基座 C Core SDK 适配，底层适配鸿蒙NDK。C Core 部分使用纯 C 语言编写，对性能进行了极端优化（包括缓存管理、文件管理、PB 序列化等），能够适用于 IoT、移动端、服务端等各种场景。SDK 提供 ArkTS 语言原生调用 API。SDK 具备以下特性：

  • 异步
    • 客户端线程写入无阻塞
    • 日志队列异步发送
  • 聚合&压缩上传
    • 日志聚合发送（支持按超时时间、日志数、日志大小聚合）
    • 支持 lz4、zstd 压缩
  • 多实例
    • 支持创建多个实例分别发送到不同的目标
    • 可以实例配置独立，互不影响
  • 缓存
    • 支持设置可允许占用的缓存内存上限
    • 超过内存缓存上限时，日志写入会失败
  • 自定义标识
    • 支持设置自定义 Tag 和 Topic
  • 断点续传
    • 支持日志缓存到本地文件，只有发送成功才会删除，确保日志上传 At Least Once
  • 日志上下文
    • 支持查看某条日志的上下文，可以更好的定位问题

图片

HarmonyOS SDK 通过 OpenHarmony 三方库中心托管发布，当前支持 HarmonyOS NEXT API 9.0 及以上，仅支持 stage 模式。

SDK 使用最佳实践

准备工作

在使用 HarmonyOS SDK 进行日志采集之前，您需要做一些准备工作。

  • 已开通日志服务（SLS），请参见开通日志服务 [ 1] 。
  • 已创建好对应的 Project 和 Logstore，请参见管理 Project [ 2] 和管理 Logstore [ 3] 。
  • 已创建并获取 AccessKey，请参见访问密钥 [ 4] 。阿里云账号 AccessKey 拥有所有 API 的访问权限，风险很高。强烈建议您创建并使用 RAM 用户进行 API 访问或日常运维。RAM 用户需具备操作日志服务（SLS）资源的权限。具体操作，请参见为 RAM 用户授权 [ 5] 。
  • [可选]搭建 HarmonyOS 开发环境。开发鸿蒙应用需要使用 HarmonyOS 的 IDE 进行开发，具体内容请参考 HarmonyOS 官网开发文档 [ 6] 。

日志采集

安装 SDK

在项目的 entry 或 library 目录下执行如下命令。

ohpm install @aliyunsls/producer --registry=https://ohpm.openharmony.cn/ohpm

以上命令执行完成后，在 entry 或 library 目录下的 oh-package.json5 文件中会自动增加以下信息。

"dependencies": {
 "@aliyunsls/producer": "^0.1.0"
}

你可以通过以上信息来确定 SDK 是否安装成功。

集成 SDK

SDK 安装成功后，您可以按照实际业务需要，在指定的 ets 文件中导入 SLS 模块。

import { AliyunLog } from "@aliyunsls/producer"

您还需要完成 SDK 的初始化工作。

let aliyunLog: AliyunLog = new AliyunLog(
  "https://cn-qingdao.log.aliyuncs.com", // 需要根据实际业务需要，替换为您Project所在Region
  "test-project-yuanbo", // 需要根据实际业务需要，替换为您的Project
  "applog", // 需要根据实际业务需要，替换为您的Logstore
  "<accesskey id>",
  "<accesskey secret>",
  "<accesskey token>" // 仅当AccessKey是通过STS方式获取时才需要
);

参数说明：

参数名称说明
endpointSLS 所在地域的访问域名，请参见服务入口 [ 7] 。
projectSLS 的资源管理单元，请参见项目（Project） [ 8] 。
logstoreSLS 中日志数据的采集、存储和查询单元，请参见日志库（Logstore） [ 9] 。
accesskey调用 API 访问云资源的安全口令，请参见访问密钥 [ 10] 。
日志采集

完成 SDK 的初始化之后，可以通过以下方式完成日志的采集。

aliyunLog.addLog(new Map(
  [
    // 根据实际业务需要，调整您需要上报的业务字段
    ["from", "Home"],
    ["page", "HomePage"],
  ]
));

更多 SDK 使用相关的信息，建议您参考 SLS 官网文档 HarmonyOS SDK [1****1] 。

日志使用

场景一：查询和可视化分析

数据通过 SDK 采集上来之后，我们可以通过 SLS 控制台进行日志的查询和分析。

首先在 SLS 控制台 Project 列表中找到您的 Project，并进入到 Project 页面。如下：

图片

接着，在左侧日志库菜单中找到您的 Logstore。如下：

图片

如果 Logstore 没有开启索引，在您打开 Logstore 页面之后，会收到一个“未开启日志库索引”的提示框。您可以通过 Logstore 页面右上角的开启索引按钮来配置相关字段的索引。配置索引的具体方式可以参考创建索引 [ 12] 这篇文档。本文示例的 Logstore 已经对以下字段进行了索引配置：

图片

索引开启后，即可在 Logstore 页面看到我们上报的日志信息，如下：

图片

注意： 如果您的日志是在开启索引之前写入的，您需要重建索引后才能看到历史写入的数据。如何重建索引？您可以参考文档重建索引 [ 13] 。

可视化分析示例一：分析 CartPage 的访问趋势

基于示例数据，我们可以通过 SQL 查询出 page 字段的访问趋势，如下：

* and page: CartPage | select date_trunc('minute', __time__)  as minute, count(*) as cnt group by minute order by minute asc

以上查询分析语句的含义是：

  • “|”之前的部分，是通过查询语句 page: CartPage 过滤出 page 为 CartPage 的页面数据。请参考更多关于查询语法 [ 14] 的信息。
  • “|”之后的部分，是通过 SQL 语句对过滤出来的数据进行分析，即：通过 date_trunc 语句把时间对齐到分钟级别，然后使用 count(*) 计算出每分钟页面的访问次数。请参考更多关于分析语法 [ 15] 的信息。

通过 SLS 可视化能力，可以对查询分析的结果使用丰富的图表展示，如下图是通过“线图 Pro”类型的图表，按照时间升序展示每分钟的页面访问次数。

图片

可视化分析示例二：分析 CartPage 页面的访问来源

基于示例数据，可以使用如下查询分析语句查询 Cart 页面的来源分布：

* and page: CartPage | select "from"  as "from", count(*) as cnt group by "from"

备注： 因为 from 是 SQL 的保留字段，因此示例中使用了双引号""对 from 进行包装。

下图是通过饼图 Pro 类型的图表，绘制的来源页面分布。

图片

SLS 拥有非常强大的可视化分析能力，以上仅是非常简单的示例。实际使用中，可能会涉及到多种指标的同比/环比，漏斗转化实时分析等等。SLS 对此提供了非常灵活和丰富的能力进行支持。更多信息可以参考查询与分析 [ 16] 以及可视化 [ 17] 。

场景二：日志加工处理

如果从鸿蒙设备上采集到的原始数据格式没有事先约定好，或者数据格式较为复杂，或者需要对个别字段做富化/脱敏等，您可以使用 SLS 数据加工能力对原始数据做富化和清洗。您可以参考以下步骤。

  1. [可选]新增一个 Logstore 用于存储加工处理后的数据，如下：

图片

可根据实际业务的需要，提前对该 Logstore 进行索引等配置。

  1. 进入到数据加工配置页面

图片

您可以通过 Logstore 名称右侧的“数据加工”超链接进入到数据加工配置页面。

  1. 配置数据加工任务

图片

如上图，您可以参考以下步骤配置数据加工任务。

a. 把目标数据加入到测试数据，用于验证数据加工脚本是否符合预期。

b. 在脚本编辑区域，根据实际业务需要输入数据加工脚本规则，示例如下：

# 富化__tag__:__client_ip__字段，提取出省、市、经纬度等信息
e_set("x", geo_parse(v("__tag__:__client_ip__")))
e_json("x", prefix="geo_") # 平铺x节点，并增加geo_前缀

e_drop_fields("x")

# 平铺content节点
e_json("content")
e_drop_fields("content")

关于数据加工脚本支持的语法，您可以参考数据加工语法 [ 18] 。

c. 脚本编写完成后，您可以通过右上角“预览数据”按钮验证数据加工的结果。

如下图，是以上数据加工脚本的预览结果：

图片

数据加工预览结果符合预期后，您就可以保存当前数据加工任务了，后续的具体操作请参考创建数据加工任务 [ 19] 。

其他场景

除了上文中提到的查询与可视化分析、日志加工处理之外，SLS 还支持基于业务日志创建自定义告警监控业务，通过流处理、批处理（定时SQL）功能对数据进一步加工、聚合处理，通过消费与投递功能投递业务数据到 OSS、MaxCompute 等。您可以通过访问日志服务（SLS） [ 20] 官网文档等方式进一步了解 SLS 各种功能，助力您的业务发展。

总结

SLS SDK 通过适配 HarmonyOS NDK，并提供原生 ArkTS 语言原生 API 的方式，使开发者能够确保应用程序在 HarmonyOS 操作系统上实现无缝对接和高效利用 SLS 功能，可以有效提升应用的稳定性和性能。SDK 提供的异步日志写入、日志聚合压缩上传、缓存控制、自定义标识、断点续传、日志上下文查看等丰富特性，可以简化日志管理流程，提升故障排查、性能优化、资源利用监控、安全防范等方面的能力。

此外，借助 SLS 的强大平台功能，如实时查询、可视化分析、数据加工处理等等能力，不仅能够快速定位问题，优化应用性能，还能够在满足数据合规性要求的同时，基于业务日志构建全面的运维监控体系，为数字化运营决策提供有效支持。

除了以上能力外，SLS 还提供基于 OTel（OpenTelemetry）协议的多平台数据采集插件，您可以借助这些插件实现端到端的 Trace 数据采集和分析能力。

  • 通过 OpenTelemetry 接入 Android Trace 数据

https://help.aliyun.com/zh/sls/user-guide/import-trace-data-from-android-apps-to-log-service-1

  • 通过 OpenTelemetry 接入 iOS Trace 数据

https://help.aliyun.com/zh/sls/user-guide/import-trace-data-from-ios-apps-to-log-service-46

  • 通过 OpenTelemetry 接入 Flutter/Dart Trace 数据

https://help.aliyun.com/zh/sls/user-guide/import-trace-data-from-flutter-and-dart-applications-by-using-opentelemetry-sdk-for-flutter

  • 通过 OpenTelemetry 接入 C++ Trace 数据

https://help.aliyun.com/zh/sls/user-guide/import-trace-data-from-cpp-applications-to-log-service

  • 接入 Web Trace 数据

https://help.aliyun.com/zh/sls/user-guide/import-data-from-web-pages-to-log-service

  • 接入小程序 Trace 数据

https://help.aliyun.com/zh/sls/user-guide/import-data-from-mini-programs-to-log-service

更多关于 Trace 数据采集和使用相关的内容，你可以参考 SLS Trace [2****1] 服务。欢迎您试用！

相关链接：

[1] 开通日志服务

https://www.aliyun.com/product/sls

[2] 管理 Project

https://help.aliyun.com/zh/sls/user-guide/manage-a-project

[3] 管理 Logstore

https://help.aliyun.com/zh/sls/user-guide/manage-a-logstore

[4] 访问密钥

https://help.aliyun.com/zh/sls/developer-reference/accesskey-pair#reference-rh5-tfy-zdb

[5] 为 RAM 用户授权

https://help.aliyun.com/zh/sls/create-a-ram-user-and-authorize-the-ram-user-to-access-log-service#section-kxp-1ok-zj4

[6] HarmonyOS 官网开发文档

https://developer.huawei.com/consumer/cn/doc/

[7] 服务入口

https://help.aliyun.com/zh/sls/user-guide/manage-a-project#section-mb8-vvq-67c

[8] 项目（Project）

https://help.aliyun.com/zh/sls/product-overview/project

[9] 日志库（Logstore）

https://help.aliyun.com/zh/sls/product-overview/logstore

[10] 访问密钥

https://help.aliyun.com/zh/sls/developer-reference/accesskey-pair

[11] HarmonyOS SDK

https://help.aliyun.com/zh/sls/developer-reference/harmonyos-sdk/

[12] 创建索引

https://help.aliyun.com/zh/sls/user-guide/create-indexes

[13] 重建索引

https://help.aliyun.com/zh/sls/user-guide/reindex-logs-for-a-logstore

[14] 查询语法

https://help.aliyun.com/zh/sls/user-guide/search-syntax

[15] 分析语法

https://help.aliyun.com/zh/sls/user-guide/sql-syntax-and-functions/

[16] 查询与分析

https://help.aliyun.com/zh/sls/user-guide/index-and-query/

[17] 可视化

https://help.aliyun.com/zh/sls/user-guide/visualization-2/

[18] 数据加工语法

https://help.aliyun.com/zh/sls/user-guide/data-processing-syntax/

[19] 创建数据加工任务

https://help.aliyun.com/zh/sls/user-guide/create-a-data-transformation-job

[20] 日志服务（SLS）

https://help.aliyun.com/zh/sls/product-overview/

[21] SLS Trace

https://help.aliyun.com/zh/sls/user-guide/usage-notes-39

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/513015.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

经典文献阅读之--LOG-LIO(高效局部几何信息估计的激光雷达惯性里程计)

经典文献阅读之--LOG-LIO(高效局部几何信息估计的激光雷达惯性里程计)

0. 简介 局部几何信息即法线和点分布在基于激光雷达的同时定位与地图构建&#xff08;SLAM&#xff09;中是至关重要&#xff0c;因为它为数据关联提供了约束&#xff0c;进一步确定了优化方向&#xff0c;最终影响姿态的准确性。然而即使在使用KD树或体素图的辅助下&#xff…
阅读更多...
echarts 毕节区县地图 包含百管委、高新区 （手扣）

echarts 毕节区县地图 包含百管委、高新区 （手扣）

百度网盘 链接&#xff1a;https://pan.baidu.com/s/14yiReP8HT_bNCGMOBajexg 提取码&#xff1a;isqi
阅读更多...
【Qt 学习笔记】Qt 开发环境的搭建 | Qt 安装教程

【Qt 学习笔记】Qt 开发环境的搭建 | Qt 安装教程

博客主页&#xff1a;Duck Bro 博客主页系列专栏&#xff1a;Qt 专栏关注博主&#xff0c;后期持续更新系列文章如果有错误感谢请大家批评指出&#xff0c;及时修改感谢大家点赞&#x1f44d;收藏⭐评论✍ Qt 开发环境的搭建 | Qt 安装教程 文章编号&#xff1a;Qt 学习笔记 /…
阅读更多...
坦克大战_java源码_swing界面_带毕业论文

坦克大战_java源码_swing界面_带毕业论文

一. 演示视频 坦克大战_java源码_swing界面_带毕业论文 二. 实现步骤 完整项目获取 https://githubs.xyz/y22.html 部分截图 启动类是 TankClinet.java&#xff0c;内置碰撞检测算法&#xff0c;线程&#xff0c;安全集合&#xff0c;一切皆对象思想等&#xff0c;是java进阶…
阅读更多...
Annaconda的替代品miniforge！

Annaconda的替代品miniforge！

用了多年的Annaconda竟然要收费了&#xff08;个人不收费&#xff0c;企业收费&#xff0c;但个人电脑在企业IP下&#xff0c;还是被警告了&#xff09;&#xff0c;只能用miniforge 全面替换了&#xff01; 一、卸载anaconda windows下卸载&#xff0c; 设置 -> 应用和功…
阅读更多...
后台返回数据需要自己匹配图标，图标命名与后台返回的变量保持一致

后台返回数据需要自己匹配图标，图标命名与后台返回的变量保持一致

testItemId为后台返回匹配图标的变量名 sportsTargetsData:{suggestSportTargetId: "2",unlocks: [{ testItemId: vo2max_high_knee, sportTargetName: 心肺能力, indexName: 心肺能力, sportTargetId: 1 },{ testItemId: grip_strength, sportTargetName: 基础力量…
阅读更多...
基于YOLOV5+Pyqt5农作物叶片病害检测系统

基于YOLOV5+Pyqt5农作物叶片病害检测系统

1、引言 农作物病害的精准检测与识别是推动农业生产智能化与现代化发展的重要举措。随着计算机视觉技术的发展&#xff0c;深度学习方法已得到快速应用&#xff0c;利用卷积神经网络进行农作物病害检测与识别成为近年来研究的热点。基于传统农作物病害识别方法&#xff0c;分析…
阅读更多...
瑞吉外卖实战学习--13、完善删除中的逻辑

瑞吉外卖实战学习--13、完善删除中的逻辑

完善删除中的逻辑 前言效果图逻辑介绍表结构根据mybatisPlus接口规范创建实体类和service和mapper文件1、实体类Dish和Setmeal2、Mapper接口DishMapper和SetealMapper3、Service接口DishService和setmealService4、Service实现类DishServiceImpl和setmealServicelmpl 编写删除函…
阅读更多...
双榜有名！美创入围第一新声x天眼查「年度中国高科技高成长企业」系列榜单

双榜有名！美创入围第一新声x天眼查「年度中国高科技高成长企业」系列榜单

为了更好地了解中国高科技高成长企业的现状和发展趋势&#xff0c;2023年底&#xff0c;【第一新声】特联合【天眼查】启动“数字未来”系列之2023年度中国高科技高成长企业系列榜单评选征集工作&#xff0c;发现和挖掘被资本市场关注&#xff0c;同时受客户认可的高科技、高成…
阅读更多...
五、postman基础使用案例

五、postman基础使用案例

postman基础使用 相关案例【传递查询参数】【提交表单数据】【提交JSON数据】 注&#xff1a;postman⼀款⽀持调试和测试的⼯具&#xff0c;开发、测试⼯程师都可以使⽤。方法一般统一为&#xff1a;方法→请求头→请求体→断言 相关案例 【传递查询参数】 访问TPshop搜索商品的…
阅读更多...
高德定位 SDK 到底提供了什么服务？

高德定位 SDK 到底提供了什么服务？

最近我被高德的销售烦到不行&#xff0c;说是我用了他们的 SDK&#xff0c;现在 SDK 要收费。 表达是很绕的&#xff0c;什么授权啦&#xff0c;什么企业认证风险啦&#xff0c;讲了一堆&#xff0c;还跟我开始搬出协议了。感觉高德的销售真够垃圾的&#xff0c;编个话术都不会…
阅读更多...
动态规划详细讲解c++|经典例题讲解认识动态规划|0-1背包问题详解

动态规划详细讲解c++|经典例题讲解认识动态规划|0-1背包问题详解

引言 uu们&#xff0c;你们好&#xff01;这次的分享是动态规划&#xff0c;其中介绍了动态规划的相关概念和做题模板&#xff08;三要素&#xff09;&#xff0c;同时为了uu们对动态规划方法有更加形象的认识&#xff0c;特地找了两个经典问题&#xff0c;和大家一起分析。并…
阅读更多...
音频转换工具 Bigasoft FLAC Converter for Mac

音频转换工具 Bigasoft FLAC Converter for Mac

Bigasoft FLAC Converter for Mac是一款专为Mac用户设计的音频转换工具&#xff0c;它能够将FLAC音频文件高效、高质量地转换为其他常见的音频格式&#xff0c;如MP3、AAC等。这款软件具有直观易用的界面&#xff0c;使用户能够轻松上手&#xff0c;无需复杂的操作步骤即可完成…
阅读更多...
SpringBoot整合Lombok以及各种使用技巧

SpringBoot整合Lombok以及各种使用技巧

✅作者简介：大家好，我是Leo，热爱Java后端开发者，一个想要与大家共同进步的男人😉😉🍎个人主页：Leo的博客💞当前专栏： 循序渐进学SpringBoot ✨特色专栏： MySQL学习 🥭本文内容： SpringBoot整合Lombok以及各种使用技巧 📚个人知识库： Leo知识库，欢迎大家访…
阅读更多...
C语言内存函数，让内存管理更高效！

C语言内存函数，让内存管理更高效！

1. memcpy使⽤和模拟实现 2. memmove使⽤和模拟实现 3. memset函数的使⽤ 4. memcmp函数的使⽤ 正文开始&#xff1a; 1. memcpy 使⽤和模拟实现 void * memcpy ( void * destination, const void * source, size_t num ); • 函数memcpy从source的位置开始向后复…
阅读更多...
【C++】前缀和

【C++】前缀和

目录 一维前缀和二维前缀和 一维前缀和 #include <iostream> using namespace std; #include <vector> int main() {int n,q;cin >> n >> q;vector<long long> arr(n1);for(int i 1;i<n;i){cin >> arr[i];}//创造前缀和数组vector<l…
阅读更多...
安卓Activity上滑关闭效果实现

安卓Activity上滑关闭效果实现

最近在做一个屏保功能&#xff0c;需要支持如图的上滑关闭功能。 因为屏保是可以左右滑动切换的&#xff0c;内部是一个viewpager 做这个效果的时候&#xff0c;关键就是要注意外层拦截触摸事件时&#xff0c;需要有条件的拦截&#xff0c;不能影响到内部viewpager的滑动处理…
阅读更多...
linux设置Nacos自启动

linux设置Nacos自启动

前提&#xff1a;已经安装好nacos应用 可参考&#xff1a;Nacos单机版安装-CSDN博客 1. 创建nacos.service 1.1 在 /lib/systemd/system 目录底下&#xff0c;新建nacos.service文件 [Unit] Descriptionnacos Afternetwork.target[Service]Typeforking# 单机启动方式&#…
阅读更多...
OpenLayers6实战，OpenLayers实现鼠标拖拽方式绘制梯形

OpenLayers6实战，OpenLayers实现鼠标拖拽方式绘制梯形

专栏目录： OpenLayers实战进阶专栏目录 前言 本章讲解如何使用OpenLayers实现鼠标拖拽方式绘制梯形。点击鼠标拖拽梯形，松开鼠标后绘制完成。 二、依赖和使用 "ol": "^6.15.1"使用npm安装依赖npm install ol@6.15.1使用Yarn安装依赖yarn add olvue中…
阅读更多...
磁盘提示格式化？别慌，这里有救星！

磁盘提示格式化？别慌，这里有救星！

在使用电脑的过程中&#xff0c;突然遇到磁盘提示需要格式化的情况&#xff0c;确实让人感到焦虑不已。毕竟&#xff0c;这意味着存储在磁盘上的重要数据可能面临丢失的风险。然而&#xff0c;在恐慌之余&#xff0c;我们更应该冷静应对&#xff0c;寻找有效的数据恢复方案。本…
阅读更多...
最新文章

Copyright @ 2022~2023