JSON 库 sonic Rust 高性能 (json库是干什么的)

admin 2025-01-02 次阅读

一、sonic-rs介绍

字节跳动 sonic 开源项目如今包含了不同语言的多个 JSON 库（如下）。其中，sonic-go 最先开源，使用了 JIT 和 SIMD 技术，sonic-cpp 使用了 C++ 模板和 SIMD 技术，这两个 JSON 库均已经在字节内部得到了较大规模的落地。在成本优化大背景下，为了帮助 Golang 业务迁移 Rust，优化 Rust JSON 性能，我们基于 JSON 方面的优化经验和实践，用纯 Rust 语言开发了高性能的 JSON 库 sonic-rs。

sonic-rs 目前支持的 JSON 功能比较齐全，基本对齐了 serde-json 的相关功能，并且提供更加丰富的功能和更多的高性能接口。sonic-rs 的主要功能特点有：

在性能方面，我们基于 serde-rs 官方 benchmark (提供的 Rust 结构体和 JSON 数据，对 serde-json, simd-json 和 sonic-rs 在 Rust 结构体下的解析性能进行了测试，可以发现 sonic-rs 的性能是 simd-json 的 1.5~2 倍，是 serde-json 2 倍：

二、sonic-rs优化实践

sonic-rs 的优化主要基于 SIMD，其中部分借鉴了其他 JSON 库，如 simd-json 的优化思路。SIMD (Single instruction, multiple>

在整体设计上，sonic-rs 并没有采用 simd-json 那种二阶段解析的思路，主要将 SIMD 优化应用于 JSON 解析和序列化中的热点，包括字符串序列化、按需解析和浮点数解析等。

1.SIMD 优化字符串序列化

字符串序列化是 JSON 序列化的热点。序列化时，需要扫描字符串中的转义字符。对于较长的字符串，逐个字节判断转义字符的操作是比较耗时的，扫描转义字符非常适合使用 SIMD 来加速。

如果用 AVX2 指令来扫描转义字符，如下面代码所示。这段 SIMD 代码在 haswell 架构下面，开 O3 优化之后，其实只有六条 SIMD 指令，即 6 条 SIMD 指令可以一次性扫描 32 个字节。相比较标量代码来说，大大减少了程序指令的数量，从而减少了程序的执行时间。

2. SIMD 优化按需解析

很多业务场景只用到 JSON 中的部分字段，很适合按需解析，在解析时跳过不需要的 JSON 字段。在跳过 JSON 字段时，难点在于如何高效跳过 JSON 中的 object 和 array。

基于 JSON 中 object 和 array 括号必须匹配的语法规则，sonic-rs 使用 SIMD 实现了高效的括号匹配算法。先通过 SIMD 得到 json object 和 array 的 bitmap，然后通过计算括号的数量来跳过 object 和 array。当发现括号匹配时，就可以跳过该 object 或 array。