基于原生能力的压缩与解压缩能力
一、场景描述
概览、常用图片编码格式比对及系统支持情况
压缩格式 | 简介 | 系统支持/使用方式 |
zip | 普及率高,适用范围也最广,压缩速度相比rar快一些 | ArkTs支持,可通过zlib实现,jszip |
rar | rar格式比zip更能够提供较好的压缩率,但压缩速度也相对慢一些 | 三方库支持,通过Unrar实现 |
7z | 压缩率相对前两种最大,但速度也最慢 | 三方库支持,通过commons-compress实现 |
brotli | 无损压缩算法,主要目标是压缩 Internet 上的数据 | 三方库支持,通过commons-compress实现 |
tar | 简单封装,被称为归档文件,只是简单的将文件组装到一个.tar的文件内,并没有太多文件体积的减少,仅仅是简单的封装 | 三方库支持,通过commons-compress实现 |
gzip | .gz:使用gzip算法将文件压缩到一个文件,极大的减少压缩后的体积 | 三方库支持,通过三方库pako实现 |
ArkTs侧:
场景一:压缩与解压rawfile目录下的文件,由于在resource/rawfile目录下存放的文件,没有对外暴露的沙箱路径,无法使用文件管理接口或以沙箱路径形式处理,因此需要将rawfile下文件通过fs拷贝进沙箱目录下,再使用zlib进行压缩与解压。
场景二:压缩与解压resfile下的文件,通过getContext().resourceDir获取到该路径下的文件,再使用zlib进行压缩与解压。
Native侧:
当前鸿蒙暂无native的压缩与解压接口,本文主要介绍native侧通过zlib实现压缩与解压。
二、方案描述
ArkTs侧:
方案
(1)通过resourceManager.getRawFileContent获取到rawfile下的文件。
(2)然后通过fs将rawfile文件内容copy到沙箱路径。
(3)最后使用zlib.decompressFile对沙箱路径下的压缩文件进行解压。
效果图
核心代码
function resfileZlibDecompress() {
getContext().resourceManager.getRawFileContent('file1.zip', (_err, value) => {
//将rawfile下的文件拷贝至沙箱下,沙箱路径:/data/storage/el2/base/haps/entry/filesfile1.zip
let myBuffer: ArrayBufferLike = value.buffer
let filePath = getContext().filesDir + "file1.zip";
let file = fs.openSync(filePath, fs.OpenMode.READ_WRITE | fs.OpenMode.CREATE);
let writeLen = fs.writeSync(file.fd, myBuffer);
fs.closeSync(file);
let outFileDir = getContext().filesDir;
let options: zlib.Options = {
level: zlib.CompressLevel.COMPRESS_LEVEL_DEFAULT_COMPRESSION
};
//解压沙箱下的文件
try {
zlib.decompressFile(filePath, outFileDir, options, (errData: BusinessError) => {
if (errData !== null) {
console.error(`errData is errCode:${errData.code} message:${errData.message}`);
}
})
} catch (errData) {
let code = (errData as BusinessError).code;
let message = (errData as BusinessError).message;
console.error(fs.accessSync(filePath)+`errData is errCode:${code} message:${message}`);
}
})
}
压缩rawfile目录下的文件。
方案
思路同rawfile解压,用到的方法:resourceManager.getRawFileContent、fs、zlib.compressFile。
核心代码
getContext().resourceManager.getRawFileContent('file1.txt', (_err, value) => {
let myBuffer: ArrayBufferLike = value.buffer
//将rawfile下的文件拷贝至沙箱下,沙箱路径:/data/storage/el2/base/haps/entry/files/file1.txt
let filePath = getContext().filesDir + "/file1.txt";
let file = fs.openSync(filePath, fs.OpenMode.READ_WRITE | fs.OpenMode.CREATE);
let writeLen = fs.writeSync(file.fd, myBuffer);
fs.closeSync(file);
//压缩沙箱下的文件
let outFile = getContext().filesDir + '/file1.zip';
let options: zlib.Options = {
level: zlib.CompressLevel.COMPRESS_LEVEL_DEFAULT_COMPRESSION,
memLevel: zlib.MemLevel.MEM_LEVEL_DEFAULT,
strategy: zlib.CompressStrategy.COMPRESS_STRATEGY_DEFAULT_STRATEGY
};
zlib.compressFile(filePath, outFile, options)
})
方案
通过 getContext().resourceDir获取resfile目录下文件,再使用zlib.decompressFile对文件进行解压。
效果图
核心代码
let inFile = getContext().resourceDir + '/file1.zip';
let outFile = getContext().filesDir;
let options: zlib.Options = {
level: zlib.CompressLevel.COMPRESS_LEVEL_DEFAULT_COMPRESSION
};
//解压沙箱下的文件
zlib.decompressFile(inFile, outFile, options)
方案
思路同resfile解压,用到的方法:zlib.compressFile。
核心代码
let inFile = getContext().resourceDir + '/file1.txt';
let outFile = getContext().filesDir + "/file1.zip";
let options: zlib.Options = {
level: zlib.CompressLevel.COMPRESS_LEVEL_DEFAULT_COMPRESSION,
memLevel: zlib.MemLevel.MEM_LEVEL_DEFAULT,
strategy: zlib.CompressStrategy.COMPRESS_STRATEGY_DEFAULT_STRATEGY
};
//压缩沙箱下的文件
zlib.compressFile(inFile, outFile, options)
native侧:
zlib库进行gzip压缩
当前ArkTs侧zlib暂不支持gzip压缩,可以使用基础库压缩,参考zlib Usage Example。
方案
(1)首先初始化z_stream结构体,然后设置输入数据和输出buffer的信息。
(2)接着使用deflateInit2函数初始化,并使用deflate函数进行压缩。如果输出buffer不足以存储所有压缩数据,则进行拓容并重复压缩的过程,直到所有数据压缩完毕。
(3)最后,返回压缩后的数据和数据大小,并使用deflateEnd函数释放。
头文件:zlib.h
核心代码
char* compressToGzip(const char *input, int inputSize, int* outputSize) {
z_stream zs;
// 初始化 (主要用于开发者自定义内存管理, 此处不使用, 应用有诉求可参考:https://www.zlib.net/manual.html)
zs.zalloc = Z_NULL; // 用于分配内部状态
zs.zfree = Z_NULL; // 用于释放内部状态
zs.opaque = Z_NULL; // 传递给 zalloc、zfree的私有数据对象
// 初始化输入数据
zs.next_in = (Bytef *)input; // 输入数据头
zs.avail_in = (uInt)inputSize; // 输入数据的内存块大小
// 初始化输出buffer
char *compressedData = new char[CHUNK_SIZE];
// 输出头
zs.next_out = (Bytef *)compressedData;
zs.avail_out = (uInt)CHUNK_SIZE;
// 开始压缩(此处使用空的gzip头)
int windowBits = WINDOWS_BITS; // windowBits历史缓冲区的大小,此参数的值越大,压缩效果越好。 范围(8-15)
// 特殊:windowBits加上 16,表示使用gzip头 windowBits加上 32,表示自动识别gzip/zlib头
int memLevel = 8; // memLevel=1使用最小内存但速度较慢,降低压缩比; memLevel=9使用最大内存以获得最佳速度 默认值为8
deflateInit2(&zs, Z_DEFAULT_COMPRESSION, Z_DEFLATED, windowBits, memLevel, Z_DEFAULT_STRATEGY);
// 压缩 尽量一次压缩完毕
deflate(&zs, Z_FINISH);
int chunkCount = 1; // 数据块的个数
// 重复压缩
while (zs.avail_out == 0) {
// 为输出数据 拓容
chunkCount++;
char* newBuffer = new char[CHUNK_SIZE*chunkCount];
// 复制历史数据
memcpy(newBuffer, compressedData, CHUNK_SIZE*(chunkCount-1));
delete[] compressedData;
compressedData = newBuffer;
// 继续压缩
zs.next_out = (Bytef *)(compressedData+CHUNK_SIZE*(chunkCount-1));
zs.avail_out = (uInt)CHUNK_SIZE;
deflate(&zs, Z_FINISH);
}
// 返回结果
*outputSize = zs.total_out;
deflateEnd(&zs);
return compressedData;
}
zlib库进行gzip解压
方案
思路与压缩相同,使用inflateInit2函数初始化zlib库,然后调用inflate进行解压缩,最后调用inflateEnd结束解压。
核心代码
char* decompressGzip(const char *input, int inputSize, int* outputSize) {
z_stream zs;
zs.zalloc = Z_NULL;
zs.zfree = Z_NULL;
zs.opaque = Z_NULL;
zs.avail_in = (uInt)inputSize;
zs.next_in = (Bytef *)input;
char *deCompressedData = new char[CHUNK_SIZE];
zs.avail_out = (uInt)CHUNK_SIZE;
zs.next_out = (Bytef *)deCompressedData;
inflateInit2(&zs, WINDOWS_BITS);
// 解压 尽量一次解压完毕
inflate(&zs, Z_FINISH);
int chunkCount = 1; // 数据块的个数
// 重复解压
while (zs.avail_out == 0) {
// 为输出数据 拓容
chunkCount++;
char* newBuffer = new char[CHUNK_SIZE*chunkCount];
// 复制历史数据
memcpy(newBuffer, deCompressedData, CHUNK_SIZE*(chunkCount-1));
delete[] deCompressedData;
deCompressedData = newBuffer;
// 继续压缩
zs.next_out = (Bytef *)(deCompressedData+CHUNK_SIZE*(chunkCount-1));
zs.avail_out = (uInt)CHUNK_SIZE;
inflate(&zs, Z_FINISH);
}
// 返回结果
*outputSize = zs.total_out;
inflateEnd(&zs);
return deCompressedData;
}