自制文件系统 — 01 文件系统的样子

发表于 3年以前  | 总阅读数:240 次

坚持思考,就会很酷

前情提要

来一个硬核系列,得益于 Linux 一切皆文件的哲学,把文件系统玩转的飞起。文件系统所有人都听过,都用过,但是就很少有人深究。

对于文件系统,大家的态度可能是两个极端,要么就是觉得好深奥,好牛,你竟然懂这玩意!要么就是,文件系统是什么鬼?不就是那个。。。我在 Linux 用过无数次的。这玩意还用得着讲?

这两种态度可能都不合适,文件系统作为一个深入我们生活的事物,我们不应去忽略它,也不要去抬高或者贬低。我们应该要去了解它,打破对它的恐惧,因为恐惧是对未知事物产生的一种情绪。平视它,了解清楚脉络,从而掌握它

小孩在为什么总是学习东西很快?因为他们都是从形到意,先直观的摸到,看到,嗅到,吃到,先感受到“形”,然后我们教导他这些东西是的含义。他们很快就接受了。

我们这个自制文件系统,就是想从形意结合,让读者朋友能够跟随着笔者一起经历一次文件系统由 0 到 1 的过程,构建好知识框架,后续的深造将会得心应手。

好,话不多说,我们先从什么是文件系统讲起,简单介绍一些探索文件系统的基础知识。

探索文件系统

1 查看现有文件系统实例

Linux 文件系统相比大家都使用过。大家在自己的 Linux 上机器上执行 mount 命令就能看到当前系统上挂载的所有文件系统:

mount

示例如下:

root@localhost:~# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime,seclabel)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
/dev/mapper/cl-root on / type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
....

比如通过这一行信息我们能看出来:

sysfs on /sys type sysfs (ro,nosuid,nodev,noexec,relatime)

信息拆解分析:

  • sysfs:文件系统名称
  • /sys :文件系统目录挂载点
  • sysfs:文件系统类型
  • (ro,nosuid,nodev,noexec,relatime):挂载参数

这里蕴含的重要信息:

  • 同一个文件系统类型可以创建多个实例,挂载在不同的挂载点,就跟面向对象里的类和实例的关系;
  • 挂载点必须是目录

其实,mount 这个命令很强大,不仅能 list 所有的文件系统,还能挂载文件系统。如下:

**挂载文件系统命令:**

# 把已经格式化好的 /dev/sdb1 盘挂到 /mnt 目录上
mount -t ext4 /dev/sdb1 /mnt/

对应卸载文件系统命令

# 卸载 /mnt 的挂载点
umount /mnt

2 查看目录挂载的文件系统用量

mount 命令能看到所有的挂载列表,但是如果你想要看到所有文件系统的使用情况,则需要另一个命令:dfdf 命令用来查看当前操作系统挂载的文件系统和使用情况

df -Tha
  • -T 参数能够让你看到所有的文件系统实例的类型;
  • -h 参数能够以更符合人类的友好的形式展示数据;
  • -a 参数展示所有的文件系统,包括 0 Blocks 的文件系统(默认是会过滤掉的);

示例如下:

root@localhost:~# df -ahT
Filesystem          Type             Size  Used Avail Use% Mounted on
sysfs               sysfs               0     0     0    - /sys
proc                proc                0     0     0    - /proc
/dev/mapper/cl-root xfs               17G   11G  7.0G  60% /
...

注意,如果 df 没有加 -a 参数,类似于上面 sysfs,proc 这种用量 0 的会被过滤掉。这也是 mountdf 两个命令默认显式信息的区别。

3 查看文件系统挂载配置

文件系统挂载可以通过 mount 命令直接挂载,但是 mount 命令挂载并没有持久化,关机重启就没了。所以想要关机重启之后,还能自动挂载到指定目录,那么就要把挂载规则写到 <span style="color: rgb(2, 30, 170);">/etc/fstab 文件中fstab 就是 fs table 的缩写,很容易理解。

操作系统在启动的时候,就会解析这个文件,并按照这个文件里的配置,自动挂载文件系统了。

如下:

root@localhost:~# cat /etc/fstab 

/dev/mapper/cl-root     /                       xfs     defaults        0 0
UUID=600e3771-af4a-48ca-a557-02204c9a48a5 /boot                   ext4    defaults        1 2
/dev/mapper/cl-swap     swap                    swap    defaults        0 0

fstab 的文件格式:

<设备标识>        <挂载目录>         <文件系统类型>    <挂载参数>             <dump选项> <fsck选项>

从左到右参数拆解:

  • 设备标识:能够标识到唯一的文件系统所在的设备,这里可以是设备路径,也可以是 LABEL,或者 UUID;
  • 挂载目录:文件系统挂载的目录点;
  • 文件系统类型:比如 ext4,ext2,xfs 之类的;
  • 挂载参数:可以填 defaults,也可以精细化配置,比如只读还是可写(rw/ro),同步刷盘还是异步(async/sync),等等;
  • dump选项:让你能控制文件系统备份的频率,0 表示不备份;
  • fsck选项:让你控制是否开机用 fsck 自检,0 表示不要;

4 查看内核支持的文件系统

这个直接去看内核模块即可:

ls /lib/modules/${kernel_version}/kernel/fs/

不同的 Linux 发行版略有不同,比如,centos 一般为:

ls -l /lib/modules/4.18.0-80.el8.x86_64/kernel/fs/

ubuntu 一般为:

ls -l /lib/modules/4.4.0-142-generic/kernel/fs/

在对应的目录找到对应的 .ko 模块,比如 ext4.ko ,如果想看内核已经加载的内核模块,可以调用 lsmod 看到。

简单普及一下 .ko 模块的知识:

ko 其实是 kernel object 的缩写,这类文件存在的意义其实和用户态的 .so 库类似,都是为了模块化的编程实践。内核把核心主干框架之外的功能拆解成模块,需要的时候就加载 ko 模块,不需要的时候卸载即可。这样带来的好处就是方便开发和使用,保持内核的核心代码极度精炼。

类似于文件系统,硬件驱动等等,都是以这种形式来加载使用的。

开发文件系统为什么难?

为什么文件系统的开发大家会觉得非常难?原因其实不在于实现,而在于调试和排障,因为早期文件系统的开发只能在内核之中,这个带来了非常高的门槛。

1 内核文件系统

因为在此之前我们看到了文件系统是位于内核之中, vfs 之下,块存储模块之上的一个位置。对外呈现文件存储实现,对下管理裸块设备。划重点,文件系统是位于内核的一个模块,那就可以理解了,内核模块的开发之所以艰难就是难在调试和排障,用户态的程序你可以随意 debug,出问题最多也就是 panic,coredump,内核态的程序出了文件就是宕机,所有现场都丢失,你只能通过日志,kdump 等手段来排查。并且内核态程序的编写是要注意非常多的规范的,比如内存分配,比用户态的要谨慎的多。

那怎么办?我们本次的目标是要自制实现一个极简的文件系统,但总不能带大家趟一次内核开发的坑吧!那可是要吓退 99% 的小伙伴。

有办法的,内核开发者考虑到了这个问题,又考虑到文件系统的需求是千变万化的,所以提供了一种手段,把 IO 路径导向用户态,由用户态程序捕获到 IO ,从而实现文件的存储,这个机制就叫 FUSE 机制。

2 FUSE 文件系统

作为自制 FS 系列第一篇,我们不讲 FUSE 的实现,而是通过一个动画来演示 IO 的旅途:

这里的路径做了一些简化,简化了用户态之上的逻辑处理,为什么路径是这样子?什么是 FUSE ?下篇专题解释。

总结

本篇文章是为后续铺垫一些基础知识,从的方面,系统介绍了一些命令,告诉你文件系统怎么配置,怎么挂载,怎么查看,怎么获取到使用详情。这些基础知识在后面自制文件系统的时候,都要用上。这些 Linux 命令都是帮助我们从文件系统的外围去用,去摸,去嗅,从而再去深入理解

我们目标不止如此,我们是要亲手做一个文件系统,动手做过一遍的东西,你对它理解也将会突飞猛进,更加深刻。

下面总结一下上面的基础以上的知识:

  1. mount 用来列举查看当前所有文件系统实例,也能支持挂载命令(但 mount 挂载不会持久化,重启就没了),umount 用来卸载;
  2. /etc/fstab 是用来配置文件系统挂载规则的,是持久化的配置,重启不丢;
  3. df -aTh 用来查看每个文件系统挂载目录的详情,包括空间使用量,总量,挂载点等信息;
  4. 内核模块的功能以 ko 文件的形式体现,在 /lib/modules/${kernel_version}/kernel/fs/ 目录可以看到支持的内核文件系统模块,lsmod 命令可以看到已经加载的内核模块;
  5. 文件系统开发之所以难?是因为之前在内核中开发,内核开发最难的在于调试和排障手段不方便。那文件系统还有出路吗?有,奇伢带你自制一个极简的文件系统,基于 Linux 系统使用纯 Go 语言来做哦,敬请期待后续,自己动手,理解更深;

~完~

本文由哈喽比特于3年以前收录,如有侵权请联系我们。
文章来源:https://mp.weixin.qq.com/s/0FpQGDzFh_D7IJi6z7oXjg

 相关推荐

刘强东夫妇:“移民美国”传言被驳斥

京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。

发布于:1年以前  |  808次阅读  |  详细内容 »

博主曝三大运营商,将集体采购百万台华为Mate60系列

日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。

发布于:1年以前  |  770次阅读  |  详细内容 »

ASML CEO警告:出口管制不是可行做法,不要“逼迫中国大陆创新”

据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。

发布于:1年以前  |  756次阅读  |  详细内容 »

抖音中长视频App青桃更名抖音精选,字节再发力对抗B站

今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。

发布于:1年以前  |  648次阅读  |  详细内容 »

威马CDO:中国每百户家庭仅17户有车

日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。

发布于:1年以前  |  589次阅读  |  详细内容 »

研究发现维生素 C 等抗氧化剂会刺激癌症生长和转移

近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。

发布于:1年以前  |  449次阅读  |  详细内容 »

苹果据称正引入3D打印技术,用以生产智能手表的钢质底盘

据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。

发布于:1年以前  |  446次阅读  |  详细内容 »

千万级抖音网红秀才账号被封禁

9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...

发布于:1年以前  |  445次阅读  |  详细内容 »

亚马逊股东起诉公司和贝索斯,称其在购买卫星发射服务时忽视了 SpaceX

9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。

发布于:1年以前  |  444次阅读  |  详细内容 »

苹果上线AppsbyApple网站,以推广自家应用程序

据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。

发布于:1年以前  |  442次阅读  |  详细内容 »

特斯拉美国降价引发投资者不满:“这是短期麻醉剂”

特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。

发布于:1年以前  |  441次阅读  |  详细内容 »

光刻机巨头阿斯麦:拿到许可,继续对华出口

据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。

发布于:1年以前  |  437次阅读  |  详细内容 »

马斯克与库克首次隔空合作:为苹果提供卫星服务

近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。

发布于:1年以前  |  430次阅读  |  详细内容 »

𝕏(推特)调整隐私政策,可拿用户发布的信息训练 AI 模型

据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。

发布于:1年以前  |  428次阅读  |  详细内容 »

荣耀CEO谈华为手机回归:替老同事们高兴,对行业也是好事

9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。

发布于:1年以前  |  423次阅读  |  详细内容 »

AI操控无人机能力超越人类冠军

《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。

发布于:1年以前  |  423次阅读  |  详细内容 »

AI生成的蘑菇科普书存在可致命错误

近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。

发布于:1年以前  |  420次阅读  |  详细内容 »

社交媒体平台𝕏计划收集用户生物识别数据与工作教育经历

社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”

发布于:1年以前  |  411次阅读  |  详细内容 »

国产扫地机器人热销欧洲,国产割草机器人抢占欧洲草坪

2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。

发布于:1年以前  |  406次阅读  |  详细内容 »

罗永浩吐槽iPhone15和14不会有区别,除了序列号变了

罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。

发布于:1年以前  |  398次阅读  |  详细内容 »
 相关文章
Android插件化方案 5年以前  |  237231次阅读
vscode超好用的代码书签插件Bookmarks 2年以前  |  8065次阅读
 目录