Filesystem OS(FOS)
向勇 陈渝 李国良 任炬
2024年秋季
课程幻灯片列表
提纲
1.2 文件系统接口和数据结构 1.3 实践步骤
提高性能、简化开发、加强安全
支持数据持久保存
1.1 实验目标
1.3 实践步骤
1.1 实验目标 1.2 文件系统接口和数据结构
git clone https://github.com/rcore-os/rCore-Tutorial-v3.git cd rCore-Tutorial-v3 git checkout ch6 cd os make run
[RustSBI output] ... filetest_simple fantastic_text **************/ Rust user shell >>
操作系统启动shell后，用户可以在shell中通过敲入应用名字来执行应用。
shell
从用户界面上，没看出文件系统的影子
在这里我们运行一下本章的测例 filetest_simple ：
>> filetest_simple file_test passed! Shell: Process 2 exited with code 0 >>
它会将 Hello, world! 输出到另一个文件 filea，并读取里面的内容确认输出正确。
我们也可以通过命令行工具 cat_filea 来更直观的查看 filea 中的内容：
>> cat_filea Hello, world! Shell: Process 2 exited with code 0 >>
添加easy-fs
├── easy-fs(新增：从内核中独立出来的一个简单的文件系统 EasyFileSystem 的实现) │ ├── Cargo.toml │ └── src │ ├── bitmap.rs(位图抽象) │ ├── block_cache.rs(块缓存层，将块设备中的部分块缓存在内存中) │ ├── block_dev.rs(声明块设备抽象接口 BlockDevice，需要库的使用者提供其实现) │ ├── efs.rs(实现整个 EasyFileSystem 的磁盘布局) │ ├── layout.rs(一些保存在磁盘上的数据结构的内存布局) │ ├── lib.rs（定义的必要信息） │ └── vfs.rs(提供虚拟文件系统的核心抽象，即索引节点 Inode) ├── easy-fs-fuse(新增：将当前 OS 上的应用可执行文件按照 easy-fs 的格式进行打包) │ ├── Cargo.toml │ └── src │ └── main.rs
改进OS
├── os │ ├── build.rs │ ├── Cargo.toml(修改：新增 Qemu 和 K210 两个平台的块设备驱动依赖 crate) │ ├── Makefile(修改：新增文件系统的构建流程) │ └── src │ ├── config.rs(修改：新增访问块设备所需的一些 MMIO 配置) │ ├── console.rs │ ├── drivers(修改：新增 Qemu 和 K210 两个平台的块设备驱动) │ │ ├── block │ │ │ ├── mod.rs(将不同平台上的块设备全局实例化为 BLOCK_DEVICE 提供给其他模块使用) │ │ │ ├── sdcard.rs(K210 平台上的 microSD 块设备, Qemu不会用) │ │ │ └── virtio_blk.rs(Qemu 平台的 virtio-blk 块设备) │ │ └── mod.rs
├── os │ ├── fs(修改：在文件系统中新增常规文件的支持) │ │ ├── inode.rs(新增：将 easy-fs 提供的 Inode 抽象封装为内核看到的 OSInode │ │ 并实现 fs 子模块的 File Trait) │ ├── loader.rs(移除：应用加载器 loader 子模块，本章开始从文件系统中加载应用) │ ├── mm │ │ ├── memory_set.rs(修改：在创建地址空间的时候插入 MMIO 虚拟页面) │ ├── syscall │ │ ├── fs.rs(修改：新增 sys_open) │ │ └── process.rs(修改：sys_exec 改为从文件系统中加载 ELF，并支持命令行参数) │ ├── task │ │ ├── mod.rs(修改初始进程 INITPROC 的初始化)
3.2 文件访问系统调用
$ hexedit os/src/main.rs
$ cd os ; stat src/main.rs
$ cd os ; ls -la
DirEntry
pub struct DirEntry { name: [u8; NAME_LENGTH_LIMIT + 1], inode_number: u32, }
3.1 文件和目录
/// 功能：打开一个常规文件，并返回可以访问它的文件描述符。 /// 参数：path 描述要打开的文件的文件名 /// （简单起见，文件系统不需要支持目录，所有的文件都放在根目录 / 下）， /// flags 描述打开文件的标志，具体含义下面给出。 /// 返回值：如果出现了错误则返回 -1，否则返回打开常规文件的文件描述符。 /// 可能的错误原因是：文件不存在。 /// syscall ID：56 fn sys_open(path: &str, flags: u32) -> isize
/// 功能：当前进程关闭一个文件。 /// 参数：fd 表示要关闭的文件的文件描述符。 /// 返回值：如果成功关闭则返回 0 ，否则返回 -1 。 /// 可能的出错原因：传入的文件描述符并不对应一个打开的文件。 /// syscall ID：57 fn sys_close(fd: usize) -> isize
/// 功能：当前进程读取文件。 /// 参数：fd 表示要读取文件的文件描述符。 /// 返回值：如果成功读入buf，则返回 读取的字节数，否则返回 -1 。 /// 可能的出错原因：传入的文件描述符并不对应一个打开的文件。 /// syscall ID：63 sys_read(fd: usize, buf: *const u8, len: usize) -> isize
/// 功能：当前进程写入一个文件。 /// 参数：fd 表示要写入文件的文件描述符。 /// 返回值：如果成功把buf写入，则返回写入字节数 ，否则返回 -1 。 /// 可能的出错原因：传入的文件描述符并不对应一个打开的文件。 /// syscall ID：64 fn sys_write(fd: usize, buf: *const u8, len: usize) -> isize
// user/src/bin/filetest_simple.rs pub fn main() -> i32 { let test_str = "Hello, world!"; let filea = "filea\0"; // 创建文件filea，返回文件描述符fd(有符号整数) let fd = open(filea, OpenFlags::CREATE | OpenFlags::WRONLY); write(fd, test_str.as_bytes()); // 把test_str写入文件中 close(fd); // 关闭文件 let fd = open(filea, OpenFlags::RDONLY); // 只读方式打开文件 let mut buffer = [0u8; 100]; // 100字节的数组缓冲区 let read_len = read(fd, &mut buffer) as usize;// 读取文件内容到buffer中 close(fd); // 关闭文件 }
4.2 文件管理机制
ROOT_INODE
inode
pub struct DirEntry { name: [u8; NAME_LENGTH_LIMIT + 1], inode_number: u32, } ... let fd = open(filea, OpenFlags::RDONLY);
fd_table
OSInode
pub struct TaskControlBlockInner { pub fd_table: ... //文件描述符表 pub struct OSInode {//进程管理的inode readable: bool, writable: bool, inner: UPSafeCell<OSInodeInner>,//多线程并发安全 } pub struct OSInodeInner { offset: usize, //文件读写的偏移位置 inode: Arc<Inode>,//存储设备inode，线程安全的引用计数指针 }
超级块(SuperBlock)描述文件系统全局信息
pub struct SuperBlock { magic: u32, pub total_blocks: u32, pub inode_bitmap_blocks: u32, pub inode_area_blocks: u32, pub data_bitmap_blocks: u32, pub data_area_blocks: u32, }
位图(bitmap)描述文件系统全局信息
pub struct Bitmap { start_block_id: usize, blocks: usize, }
read_at
write_at
get_block_cache
get_block_id
磁盘索引节点(DiskInode)描述文件信息和数据
pub struct DiskInode { pub size: u32, pub direct: [u32; INODE_DIRECT_COUNT], pub indirect1: u32, pub indirect2: u32, type_: DiskInodeType, }
type DataBlock = [u8; BLOCK_SZ]; pub struct DirEntry { name: [u8; NAME_LENGTH_LIMIT + 1], inode_number: u32, }
BlockCache
pub const BLOCK_SZ: usize = 512; pub struct BlockCache { cache: [u8; BLOCK_SZ], //512 字节数组 block_id: usize, //对应的块编号 //底层块设备的引用，可通过它进行块读写 block_device: Arc<dyn BlockDevice>, modified: bool, //它有没有被修改过 }
get_block_cache ：取一个编号为 block_id 的块缓存
block_id
4.1 核心数据结构
lazy_static! { pub static ref BLOCK_DEVICE = Arc::new(BlockDeviceImpl::new()); ...... lazy_static! { pub static ref ROOT_INODE: Arc<Inode> = { let efs = EasyFileSystem::open(BLOCK_DEVICE.clone()); Arc::new(EasyFileSystem::root_inode(&efs))
pub fn sys_open(path: *const u8, flags: u32) -> isize { //调用open_file函数获得一个OSInode结构的inode if let Some(inode) = open_file(path.as_str(), OpenFlags::from_bits(flags).unwrap()) { let mut inner = task.inner_exclusive_access(); let fd = inner.alloc_fd(); //得到一个空闲的fd_table项的idx，即fd inner.fd_table[fd] = Some(inode); //把inode填入fd_table[fd]中 fd as isize //返回fd ...
如果失败，会返回 -1
-1
fn open_file(name: &str, flags: OpenFlags) -> Option<Arc<OSInode>> { ...... ROOT_INODE.create(name) //在根目录中创建一个DireEntry<name，inode> .map(|inode| {//创建进程中fd_table[OSInode] Arc::new(OSInode::new( readable, writable, inode, )) })
在根目录ROOT_INODE中创建一个文件，返回OSInode
fn open_file(name: &str, flags: OpenFlags) -> Option<Arc<OSInode>> { ...... ROOT_INODE.find(name) //在根目录中查找DireEntry<name，inode> .map(|inode| { //创建进程中fd_table[OSInode] Arc::new(OSInode::new( readable, writable, inode )) })
在根目录ROOT_INODE中找到一个文件，返回OSInode
pub fn sys_close(fd: usize) -> isize { let task = current_task().unwrap(); let mut inner = task.inner_exclusive_access(); ...... inner.fd_table[fd].take(); 0 }
sys_close ：将进程控制块中的文件描述符表对应的一项改为 None 代表它已经空闲即可，同时这也会导致文件的引用计数减一，当引用计数减少到 0 之后文件所占用的资源就会被自动回收。
基于文件加载应用（ELF可执行文件格式）
pub fn sys_exec(path: *const u8) -> isize { if let Some(app_inode) = open_file(path.as_str(), ...) { let all_data = app_inode.read_all(); let task = current_task().unwrap(); task.exec(all_data.as_slice()); 0 } else { -1 }
当获取应用的 ELF 文件数据时，首先调用 open_file 函数，以只读方式打开应用文件并获取它对应的 OSInode 。接下来可以通过 OSInode::read_all 将该文件的数据全部读到一个向量 all_data 中
open_file
OSInode::read_all
all_data
pub fn sys_write(fd: usize, buf: *const u8, len: usize) -> isize { if let Some(file) = &inner.fd_table[fd] { file.write( UserBuffer::new(translated_byte_buffer(token, buf, len)) ) as isize
操作系统都是通过文件描述符在当前进程的文件描述符表中找到某个文件，无需关心文件具体的类型。
pub fn sys_read(fd: usize, buf: *const u8, len: usize) -> isize { if let Some(file) = &inner.fd_table[fd] { file.read( UserBuffer::new(translated_byte_buffer(token, buf, len)) ) as isize
霸王龙即雷克斯暴龙（Tyrannosaurus Rex） 操作系统
**程序设计**