分类 Rust 下的文章 - 记录学习的过程

2023-04-11

用 Rust 写个 CLI 解决 UWP Bilibili 下载的视频无法播放问题发现问题众所周知，使用 wINDOWS 微软商店下载的 Bilibili 客户端是有视频下载功能的，不过它有个问题，下载后的视频无法直接使用一般的打开。稍微研究（使用搜索引擎）一下发觉，原来是该客户端下载后的文件开头补了三个 0xFF。解决方案最简单的方法就是直接使用一些支持 hex 编辑的 editor 手动把它们删掉再保存，不过如果有多个文件（很明显这是常态），那一个一个手动处理太机械了，于是直接写个命令行工具解决。实现原理也很简单，就是直接跳过读取开头三个 0xFF 再写入到新文件。开始编码创建项目创建 Rust 项目先，直接执行 cargo new xxx 就把项目生成好啦。然后添加几个第三方库，首先自然是 clap，然后是错误处理，这种小工具就不手写自定义错误处理啦，使用 anyhow，还可以加个进度条指示器indictif，因为要批处理文件，文件夹内可能有非视频文件，所以加个 regex 包用正则过滤一下文件。其中 clap 用得是它的派生宏版本。cargo add clap -F derive cargo add anyhow cargo add indicatif cargo add regex可以 cat 查看一下 Cargo.toml 内容$ cat ./Cargo.toml --------------------------- [package] name = "xxx" version = "0.1.0" edition = "2021" # See more keys and their definitions at https://doc.rust-lang.org/cargo/reference/manifest.html [dependencies] anyhow = "1.0.70" clap = { version = "4.2.1", features = ["derive"] } indicatif = "0.17.3" regex = "1.7.3"正式编码先定义好传参，其实就是接收输入的目录，所以用派生宏包一下结构体 Args#[derive(Parser, Debug)] #[clap(author, version, about, long_about = None)] struct Args { #[clap(value_parser)] input: String, }然后在 main 函数写上下面的代码，主要是获取待处理的目录，当它不是一个文件夹时直接 panicfn main() { let args: Args = Args::parse(); let p = Path::new(&args.input); if !p.is_dir() { panic!("The input is not directory!"); } read_file(p); }我们还得把 read_file 函数补上，这一步就是基本逻辑就是使用 std::fs::read_dir 读取文件夹内的子路径，判断一下读取到的是否是文件或文件夹，如果是文件夹就递归继续读取，直到读到文件为止，读取到文件就用 process_file 处理它，出错了不管直接 unwrap 死就死吧，小项目是这样的捏。fn read_file(dir: &Path) { for sub_path in read_dir(dir).expect("Failed to read file path.").flatten() { let p = sub_path.path(); if p.is_file() { process_file(&p).unwrap(); } else { read_file(&p); } } }个么很自然地就是实现 process_file 函数，先取到文件名（其实是取得完整的文件路径），然后通过正则过滤一下副档名是 mp4 的文件，读取文件大小给进度条结构用，判断下原文件开头三个字节是 0xFF 下继续进行下一步操作，主要是为了防止处理错文件。然后创建个空文件，循环读取原文件内容写入到新文件，后面再把原文件删除，把新文件修改一下名字，至此处理完成。const BUFFER_SIZE: usize = 1024; fn process_file(p: &Path) -> Result<(), anyhow::Error> { let filename = p .file_name() .expect("Failed to get filename.") .to_str() .expect("Failed to unwrap path str."); let mut buffer = [0u8; BUFFER_SIZE]; let file_regex = Regex::new(r"\.mp4$").expect("Failed to new file regex."); if file_regex.is_match(filename) { let mut original_file = File::open(p)?; let file_size = original_file.metadata()?.len(); let pb = ProgressBar::new(file_size); let mut count = original_file.read(&mut buffer)?; if buffer[0] == 0xFF && buffer[1] == 0xFF && buffer[2] == 0xFF { let new_filename = String::from("new_") + filename; let new_filename = p.with_file_name(new_filename); let new_file_path = Path::new(&new_filename); let mut new_file = File::create(new_file_path)?; let mut is_first = true; while count != 0 { if is_first { new_file.write_all(&buffer[3..count])?; pb.inc((count - 3) as u64); is_first = false; } else { new_file.write_all(&buffer[..count])?; pb.inc(count as u64); } count = original_file.read(&mut buffer)?; } remove_file(p)?; rename(new_file_path, p)?; pb.finish_with_message("done"); } } Ok(()) }然后就可以通过一般的视频播放器打开文件啦。

2023年04月11日
94 阅读
0 评论
0 点赞

2022-05-30

Flutter 调用 Rust 生成的共享/静态库日常发病前面写过一两篇使用水文, 用 Rust 写点东西, 编译成 shared/static lib 给 Android 或者 iOS 端调用.这篇水文需要用到之前写得 MD5 的那个 Rust 项目. Android 使用 Rust 生成的动态库用 Rust 开发 iOS 应用(粗糙版) 今天发病的主题是 Flutter FFI 相关.创建 Flutter 项目这里直接通过下面这条命令创建flutter create --platforms=android,ios --template=plugin ffi_demo这里使用的是 plugin 的模板, 如果直接使用 project 模板也是可以的, 现在直接用 Android Studio 打开项目. 我们先来看看项目结构tree -L 1 . ├── CHANGELOG.md ├── LICENSE ├── README.md ├── analysis_options.yaml ├── android ├── example ├── ffi_demo.iml ├── ios ├── lib ├── pubspec.lock ├── pubspec.yaml └── test 5 directories, 7 files处理 Android 端Android 端的比较好处理, 把开头 Android 的那篇文章的 md5 项目生成的动态库拷贝出来, 放到 android/src/main/jniLibs/arm64-v8a 下面, 事实上这里不需要用到 CMakeLists, 所以直接放到 jniLibs 下面, 不过有个问题, Android 项目并不知道你放这边了, 所以还得配置一下 build.gradle 的 sourceSetsandroid { // ... sourceSets { // ... main.jniLibs.srcDirs = ['src/main/jniLibs'] } // ... }这一步完成后, 我们先把 Android 这边的事放一放处理 iOS 端由于之前的 md5 那个项目, 没编译 iOS 的静态库, 所以我们先得把 iOS 静态库生成一下.喜闻乐见的添加对应 target 环节rustup target add aarch64-apple-ios如果你想跑在 Intel 设备的 iOS 仿真器上, 需要添加 x86 的 target, 这里只添加了手机 aarch64 的, 如果你想跑在 M1 设备的 iOS 仿真器上, 你需要添加rustup target add aarch64-apple-ios-sim接着跑到 md5 的项目中运行构造命令cargo build --target aarch64-apple-ios --release构建成功后把 target 目录对应平台的静态库拷贝出来放到 ios/Frameworks 下, 没有 Frameworks 文件夹就自己创建, 文件夹名字随便起, 然后把 ffi_demo.podspec 文件改一下, 总之找到对应的 .podspec 文件, 添加指定静态库的路径Pod::Spec.new do |s| # ... s.vendored_libraries = 'Frameworks/libmd5.a' # ... end处理 Flutter 端上面的准备工作完成后, 我们可以来暴露接口给 Dart 使用啦! 找到 lib/ffi_demo.dart 文件, 修改里面的代码import 'dart:io'; import 'dart:ffi'; // third part package import 'package:ffi/ffi.dart'; typedef LLMD5 = Pointer<Int8> Function(Pointer<Int8>); class FfiDemo { String md5(String str) { final DynamicLibrary nativeLib = Platform.isAndroid ? DynamicLibrary.open("libmd5.so") : DynamicLibrary.process(); LLMD5 md5 = nativeLib.lookupFunction<LLMD5, LLMD5>("ll_md5"); var result = md5(str.toNativeUtf8().cast<Int8>()); return result.cast<Utf8>().toDartString(); } }其实就是把 dart 的字符串转成 C 的字符串传给 md5 函数使用, 返回的结果再转成 dart 的字符串, 我们代码中用到一个第三方包来处理 dart 字符串跟 C 字符串的转换, 直接执行添加第三方包的命令flutter pub add ffi执行 exampleAndroid为了验证我们的插件是否正常工作, 我们把 example 里面的 lib/main.dart 修改一下import 'package:flutter/material.dart'; import 'package:ffi_demo/ffi_demo.dart'; void main() { runApp(const MyApp()); } class MyApp extends StatefulWidget { const MyApp({Key? key}) : super(key: key); @override State<MyApp> createState() => _MyAppState(); } class _MyAppState extends State<MyApp> { String _md5Str = ''; final _ffiDemoPlugin = FfiDemo(); @override void initState() { super.initState(); initMD5(); } void initMD5() { String str = ''; try { str = _ffiDemoPlugin.md5("foo"); } on Exception { str = 'MD5 failed'; } if (!mounted) return; setState(() { _md5Str = str; }); } @override Widget build(BuildContext context) { return MaterialApp( home: Scaffold( appBar: AppBar( title: const Text('Plugin example app'), ), body: Center( child: Text('$_md5Str\n'), ), ), ); } }然后连接对应 ABI 的 Android 手机, 用 Android Studio 执行一下, 可以看到屏幕中间显示了一串经过 md5 运算后的字符串.iOSiOS 这边, 因为我们修改了 podspec 文件, 所以我们需要在 example/ios 目录下执行pod install然后就是更新 xcworkspace, 完成后, 就可以在 Pod 项目中找到我们的静态库了然后用 Android Studio 打开插件项目(直接用 Xcode 执行 Runner 可能会出现找不到符号的问题), 执行到对应的设备(或者仿真器), 就能看到对应的效果Flutter FFI 使用起来比较简单, 某些情况也很有用, 譬如要使用 FFmpeg 理论上可以通过 FFI 来达成我们的目标.

2022年05月30日
157 阅读
0 评论
0 点赞

2022-05-22

2022年05月22日
47 阅读
0 评论
0 点赞

2022-04-25

2022年04月25日
166 阅读
0 评论
0 点赞

2021-02-23

通过 cmake 混合构建 Rust & Cpp Rust 提供了非常好用的 FFI, 可以方便我们将 Rust 代码跟 C/Cpp 之间互操. 在开始之前先弄个基本的种子例子, 我决定还是用 SDL2 来做演示场景. 后续有可能会尝试一下音视频之类的, SDL2 很适合拿来学习.准备工作先把 SDL2 装上, macOS 系统下就访问 brew 中文官网, 可以找到 brew 的安装方法/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"如果已经安装了 brew, 那就直接安装 sdl2brew install sdl2然后再用 cmake 配置一个 Cpp 项目环境, 没有装 cmake 也可以用 brew 安装brew install cmake接下来就是mkdir rust_client && cd rust_client mkdir gui touch gui/main.cpp touch CMakeLists.txt我们现在开始编辑 CMakeLists.txtcmake_minimum_required(VERSION 3.15) set(SHORT_NAME Sdl2Player) project(${SHORT_NAME}) add_subdirectory(rs) add_subdirectory(gui)然后在 gui 目录下编辑 CMakeLists.txt, 具体 SDL2 目录以自己的环境为准set(CMAKE_CXX_STANDARD 14) include(FindSDL2.cmake) find_package(SDL2 REQUIRED) include_directories(${SDL2_INCLUDE_DIRS}) set(SOURCE main.cpp) add_executable(gui ${SOURCE}) get_target_property(CLIENT_DIR rs LOCATION) target_link_libraries(gui {SDL2_LIBRARIES}) target_link_libraries(gui{CLIENT_DIR}/librs.dylib) add_dependencies(gui rs)这里的 FindSDL2.cmake 是一个 github 上人家的配置文件, 解决找不到 SDL2 的头文件的问题. 可以访问该地址下载 SDL2Test.还有个问题 get_target_property(RS_DIR rs LOCATION) 是后面创建的 Rust 项目里 CMakeLists.txt 定义的, 现在先这样写.然后我们在 main.cpp 里用 SDL2 创建个窗口#include "SDL.h" enum { WINDOW_WIDTH = 960, WINDOW_HEIGHT = 544, SCREEN_CENTER = SDL_WINDOWPOS_CENTERED_MASK, }; int main(int argc, char **argv) { if (SDL_Init(SDL_INIT_VIDEO) < 0) return -1; SDL_Window *window = SDL_CreateWindow("Rust FFI Demo", SCREEN_CENTER, SCREEN_CENTER, WINDOW_WIDTH, WINDOW_HEIGHT, SDL_WINDOW_OPENGL | SDL_WINDOW_RESIZABLE); if (window == nullptr) return -1; SDL_Renderer *renderer = SDL_CreateRenderer(window, -1, 0); if (renderer == nullptr) return -1; SDL_Event event; while (true) { if (SDL_PollEvent(&event)) { if (SDL_QUIT == event.type) break; SDL_SetRenderDrawColor(renderer, 100, 0, 0, 255); SDL_RenderClear(renderer); SDL_RenderPresent(renderer); } } SDL_DestroyRenderer(renderer); SDL_DestroyWindow(window); SDL_Quit(); return 0; }终于轮到 Rust 项目上场了, 直接在项目根目录下 cargo 走起cargo new --lib rs现在当前项目结构大概长这样$ tree -L 3 . ├── CMakeLists.txt ├── build ├── gui │ ├── CMakeLists.txt │ ├── FindSDL2.cmake │ └── main.cpp └── rs ├── CMakeLists.txt ├── Cargo.lock ├── Cargo.toml ├── src │ └── lib.rs └── target └── debug打开 Cargo.toml 文件编辑一下[package] name = "rs" version = "0.1.0" authors = ["Author <xxx@example.com>"] edition = "2018" [dependencies] [lib] crate-type = ["cdylib"]我们主要关注点 [lib] 下的内容, 添加 crate-type ["cdylib"] 这里意思是说创建 C 动态库, 其实也可以创建静态库, 具体参数是 crate-type = ["cdylib", "staticlib"] 其实也可以指定编译出来的库名字, 譬如指定为 app, 就是添加 name = "app"重点来了, 创建 rs 目录下的 CMakeLists.txt, 添加如下内容if (CMAKE_BUILD_TYPE STREQUAL "Debug") set(CARGO_CMD cargo build) set(TARGET_DIR "debug") else () set(CARGO_CMD cargo build --release) set(TARGET_DIR "release") endif () set(RS_SO "{CMAKE_CURRENT_BINARY_DIR}/{TARGET_DIR}/librs.dylib") add_custom_target(rs ALL COMMENT "Compiling rs module" COMMAND CARGO_TARGET_DIR={CMAKE_CURRENT_BINARY_DIR}{CARGO_CMD} COMMAND cp {RS_SO}{CMAKE_CURRENT_BINARY_DIR} WORKING_DIRECTORY ${CMAKE_CURRENT_SOURCE_DIR}) set_target_properties(rs PROPERTIES LOCATION ${CMAKE_CURRENT_BINARY_DIR}) add_test(NAME rs_test COMMAND cargo test WORKING_DIRECTORY ${CMAKE_CURRENT_SOURCE_DIR})现在为了保证项目干净整洁, 我们可以在项目根目录创建个 build, 然后再用 cmake 生成 make filemkdir build && cd build cmake .. make ./gui/gui看看效果, 我看到的效果是一个暗红色空白窗口. 好了现在整个项目算了配置完成了.Cpp 调用 Rust通常我们学习当然是从 Hello World 开始的啦, 那就用控制台打印一下吧. 编辑 Rust src 下的 lib.rs 文件#[no_mangle] pub extern "C" fn hello_rust() { println!("Hello Rust!"); }日常 Hello Rust, no_mangle 保证函数签名不被混淆, 这一步很重要, 不然 Cpp 调用的时候就会找不到对应的函数, 然后我们用 Cpp 调用一下.// ... #include "rust.hpp" // ... int main(int argc, char **argv) { // ... bool quit = true; while (quit) { if (SDL_PollEvent(&event)) { if (SDL_QUIT == event.type) break; if (SDL_KEYDOWN == event.type) { switch (event.key.keysym.sym) { case SDLK_ESCAPE: quit = false; break; case SDLK_j: hello_rust(); break; } } // ... } } // ... return 0; }肯定注意到有个 #include "rust.hpp", 原来是把 hello_rust 函数 extern 出来// rust.hpp extern "C" { void hello_rust(); };然后在 SDL 主线程事件循环中通过键盘字母 j 触发调用, 也稍微改了点退出的逻辑. 最后别忘了在 gui 目录下 CMakeLists.txt 中修改一下 SOURCE# ... set(SOURCE rust.hpp main.cpp) # ...最后重复构建操作cd build cmake .. make执行一下看看效果, 只要按了字母 j 就会在控制台打印 Hello Rust! 看样子简单的 Cpp 调用 Rust 完成了.项目地址https://github.com/limitLiu/cpp-with-rust.git

2021年02月23日
47 阅读
0 评论
0 点赞