资料库基础介绍– 系统设计08

资料库|资料库(Database) 是什么?中文完整入门:SQL vs NoSQL、A

重点摘要

  • 资料库是有组织地储存与管理资料的系统,交易的可靠性靠ACID:原子性、一致性、隔离性、持久性。
  • 关联式资料库(SQL)以表格与固定schema 储存,适合强一致性与复杂查询。
  • NoSQL 分为键值、文件、栏式、图形等类型,适合弹性schema 与大规模水平扩展。
  • 选型看三件事:资料结构是否固定、一致性要求多高、读写规模多大;索引则是让查询变快的关键。

什么是资料库?

资料库顾名思义,就是储存资料的地方,那么我们有没有办法,在不使用资料库的情况下,开发软体系统呢? 如果是早期静态式网页,只有规模较小的静态文字的话,没有资料库也是没问题的。不过随着当代系统越来越复杂,应用程式越来越丰富,我们就必须要使用资料库来去储存资料。例如:Youtube 需要庞大且复杂的资料库,来去储存不同类型、规模的资料。

当然资料库也有更精确的定义,以下是从Oracle 节录下来的定义:

资料库是结构化资讯或资料的有组织的集合,通常以电子方式储存在电脑系统中。 资料库通常由资料库管理系统(DBMS)控制。资料和DBMS 以及与其关联的应用程式一起被称为资料库系统,通常简称为资料库。

当今运行的最常见资料库类型中的资料通常以一系列表中的行和列进行建模,以提高处理和资料查询的效率。 然后可以轻松存取、管理、修改、更新、控制和组织资料。 大多数资料库使用结构化查询语言(SQL)来写入和查询资料。

资料库基本上会有两种类型,分别是:SQL(关联式资料库) 以及NoSQL(非关联式资料库),相信不少读者也有听过这些资料库的名字,其中关联式资料库是具有结构化的资料,并且资料库建立于关联模型之上,以直接且直觉的方式于资料表上显示资料。非关连式资料库则是非结构化的资料,相对发散且专为特定资料模型而建置,并将资料存放在灵活的结构,以便现代应用程式轻松扩展。 NoSQL 资料库在开发的容易性、功能性和大规模效能方面广受肯定。

资料库优点

资料库对于每个公司、组织都是非常重要的,因为这些资料库储存了所有资料,例如:一家公司的员工资料、客户资讯、交易纪录…等等。

基本上资料库有以下优点:

管理大数据:使用资料库可以轻松处理大量数据,而使用其他工具则无法做到这一点。

资料一致性:我们可以随时检索正确的资料。

资料安全性:资料库保证资料的安全,只允许授权使用者存取资料。

资料完整性:资料库透过对资料使用不同的限制来确保资料完整性。

系统可用性:资料库可以在不同的伺服器上复制(Replication),并且可以同时更新。

可扩展性:资料库被划分(Partition)来管理单一节点上的负载,提高了系统可扩展性。

ACID

ACID 是由四个单字所组成,分别是:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability),这四个特性也是资料库管理系统(RDBMS)在写入资料或是更新资料时,为了保证过程正确而必须要有的特性。

在资料库系统中,一个交易(Transaction)是指:由资料库操作组成的一个完整逻辑,举例来说:银行转账,从原本的帐户中扣款,并且将对方帐户新增款项,这两个资料库的操作构成一个完成的逻辑,并且是不可以分割的,这样的一个过程也包含了ACID 的特性,接下来我们简单讲解一下ACID 吧!

原子性(Atomicity)

原子性保证交易被视为不可分割的单元,代表着交易中的所有操作都必须成功,或者都不能成功。 这对于防止发生资料不一致非常重要。

一致性(Consistency)

一致性确保对资料库的所有更新都是一致的,代表资料库必须保持着有效状态,即使多个事务同时存取资料也是如此。

隔离性(Isolation)

隔离性确保交易彼此独立执行,代表说交易的操作不能干扰另一个交易的操作,这个特性对于防止资料损坏的发生非常重要。

持久性(Durability)

持久性确保交易一旦提交,其影响就是永久性,也代表交易对资料库所做的变更不会遗失,即使出现断电或其他系统故障。

关联式资料库(Relational Database)

讲完了ACID 的特性,让我们回过头来讲解资料库,关联式资料库的流行和主导地位有多种原因,包括管理通用资料的简单性、稳健性、灵活性、效能、可扩充性和相容性。

关联式资料库本质上提供了原子性、一致性、隔离性和持久性(ACID)的特性,因此本质上就是一个很好的资料库性质。还记得我们 抽象在系统设计中的应用– 系统设计02 有提到抽象的概念,ACID 也是一个抽象概念,简化了资料交互操作的复杂性。当然关联式资料库会成为主流的原因也包含:简单性、稳定性、灵活性、效能性、扩充性、相容性。

一些流行的DBMS 如下:

MySQL、Oracle Database、Microsoft SQL Server、IBM DB2、Postgres、SQLite。

关联式资料库范例

首先是关联式资料库(RDB) 是在资料表、资料列和资料栏中建构资讯。 RDB 可透过汇整资料表来建立资讯之间的关联或关系,以便轻松了解各资料点之间的关系并取得深入分析。

关联资料库原本是由IBM 的EF Codd 于1970 年代开发,允许任何资料表使用通用属性与其他资料表建立关联。可以把关联资料库想像成一个Excel 集合,可以协助公司建立资料关联。如同Excel ,每一个试算表都是储存资讯的资料表,并且使用资料栏(属性)以及资料列(纪录)表示。

GCP 范例

system-design-系统设计08-资料库基础介绍-introductoin-to-database-fundamentals-hogantech-hoganblab-01

「客户」资料表含有客户相关资料:

客户ID (主键)、客户名称、帐单地址、收件地址

在「客户」资料表中,客户ID 是一组主键(Primary key),专门用来在关联资料库中识别客户。所有客户的客户ID 都不同。

「订单」资料表含有订单的相关交易资讯:

订单ID (主键)、客户ID (主键)、订购日期、运送日期、订单状态

假设一个小型公司使用两个资料表来处理产品订单。第一个资料表示客户资料表,纪录客户编号、客户姓名、地址、运送地址、帐单地址、电话号码、其他联络资讯。这时候的主键可以设定为客户编号,因为此资料具有唯一性,不会重复。

第二个表格表示客户订单资料表,纪录产品订单的资讯,包含:客户编号、订单编号、订购的产品、数量、尺寸、颜色。这时候的主键则可以设定为订单编号,并且不会重复。再藉由客户编号,此为共同索引键,来将两个资料表做关联建立。最终,公司订单处理应用程式将订单提交至资料库时,资料库就可以进入客户订单表,提取正确的产品订单资讯,并利用该表格的客户编号在客户资讯表中查询客户的帐单和出货资讯。

为什么选择关联式资料库(SQL)?

通常如果没有指定资料库形式,开发时我们都会预设关联式资料库。其中的优点包含,它对ACID 交易和相关程式设计的抽象。这样的抽象概念也会让软体工程师使用资料库变得非常方便,接下来分别讲讲他的优点吧!

关联式资料库优点

灵活性(Flexibility):在SQL上下文中,资料定义语言(DDL)全名为(Data Definition Language ),DDL 为我们提供了修改资料库的灵活性,包括表格、列、重新命名表和其他变更。

减少冗余(Reduce Redundancy):资料冗余(Data Redundancy)是指同一个数据或是资料在资料库中多次重复出现,在一般文件系统中,由于文件之间没有联系,所以有时候会有一笔资料在多个文件中出现。关联式资料库的最大优点之一是减少了冗。消除数据冗余的目的是为了避免更新时可能出现的问题,以便保持数据的一致性。

并发性(Concurrency):并发性是一个很重要的特性,在高并发情况下,资料会被许多使用者同时读取和写入资料库。因此我们需要协调这些操作,避免资料不一致,例如:飞机票如果同时被多个人预定,则必须要避免同时写入。 关系资料库中的并发性是透过对资料的交易存取来处理的。

备份与复原(Backup and Recovery):关联式资料库保证资料状态在任何时候都是一致的。大多数基于云端的关联式资料库都会执行连续镜像,以避免资料遗失并使复原过程更加轻松快速。

关联式资料库缺点

阻抗不匹配(Impedance Mismatch)

这边要先好好讲解一下,阻抗不区配是什么?资料库阻抗不匹配(Database Impedance Mismatch)是指在软体开发中,不同软体元件或系统所使用的资料结构和模型之间缺乏一致性时产生的常见问题。

在资料库中,阻抗不匹配指的是物件导向程式设计(OOP)模型与关系型资料库管理系统(DBMS)所使用的关系模型之间的差异。

这边也找到一只图,简单讲解所谓的不匹配的意思,图中上方为记忆体资料结构,可能是树、阵列、链结串列、杂凑…等等,右下方为关联式资料库的图例。当两者储存资料的方式不一致,在操作资料库时就会发生问题。阻抗不匹配(Impedance Mismatch)也是关联式资料库的重要缺点。

system-design-系统设计08-资料库基础介绍-introductoin-to-database-fundamentals-hogantech-hoganblab-02

非关联式资料库(Non-relational Database)

什么是NoSQL?

NoSQL 的意思是 Not Only SQL,是一种非关联式资料库,也就是说它不使用传统的关联式资料库模型来储存资料。 NoSQL 资料库通常使用更灵活、更可扩展的资料模型,例如键值对、文件、图形或宽表。

NoSQL 资料库的类型

键值资料库(Key-value database)

键值资料库使用杂凑表(Hash Table)等键值方法以键值对的形式储存资料。键充当主键(Primary Key),值(Value)可以是从简单标量值到复杂物件的任何值。常见的键值资料库,包含:Amazon DynamoDB、Redis 、Memcached DB。

使用情境:

  1. 缓存: 键值资料库通常用作缓存,以快速存取经常使用的资料。例如,Web 应用程式可以使用键值资料库来缓存页面内容。
  2. 会话资料: 键值资料库可用于储存会话资料,例如用户登入资讯和购物车内容。
  3. 配置资料: 键值资料库可用于储存配置资料,例如应用程式设定和系统参数。
  4. 计数器: 键值资料库可用于储存计数器,例如网站流量统计资料。

文件资料库(Document database)

XML、JSON、BSON 等格式的文档都是文件资料库的中的储存形式,这些文件档案是由特别的资料结构组成,其中可以包括映射(map)、集合(collection)。常见的文件资料库,包含:MongoDB 、 Firestore。

使用情境:

  1. 内容管理系统(CMS): CMS 使用文件资料库来储存内容,例如文章、页面和媒体档案。
  2. 电子商务网站: 电子商务网站使用文件资料库来储存产品资料、客户资料和订单资料。
  3. 社交媒体应用程式: 社交媒体应用程式使用文件资料库来储存用户资料、帖子和评论。
  4. 应用程式日志: 应用程式日志使用文件资料库来储存应用程式日志资料。
  5. 物联网(IoT) 设备: 物联网(IoT) 设备使用文件资料库来储存感测器资料和设备状态。

图资料库(Graph database)

图资料库使用图形来储存资料,图形由节点和边缘组成,节点表示实体,边缘表示实体之间的关系,常见的图资料库包括:OrientDB 、InfiniteGraph。

使用情境:

  1. 社交网络分析: 社交网络分析使用图资料库来分析社交网络中的关系,例如朋友、家人和同事之间的关系。
  2. 推荐系统: 推荐系统使用图资料库来推荐产品或服务给用户,基于用户的兴趣和与其他用户的关系。
  3. 欺诈检测: 欺诈检测使用图资料库来检测欺诈行为,例如识别与已知欺诈者相关的交易。
  4. 知识图谱: 知识图谱使用图资料库来储存和查询有关现实世界的知识,例如实体、概念和它们之间的关系。
  5. 供应链管理: 供应链管理使用图资料库来管理供应链中的关系,例如供应商、制造商和零售商之间的关系。

柱状资料库(Columnar database)

柱状资料库(Columnar database) 是一种资料库,它将资料储存在列中,而不是行中。这与传统的关联式资料库不同,传统的关联式资料库将资料储存在行中,柱状资料库可以有效压缩资料,因为它们可以储存大量相同的值。常见的柱状资料库包括: HBase、Hypertable 、Amazon Redshift。

使用情境:

  1. 科学计算: 科学计算使用柱状资料库来分析科学资料。
  2. 金融分析: 金融分析使用柱状资料库来分析金融资料。
  3. 广告分析: 广告分析使用柱状资料库来分析广告活动的效果。

NoSQL 资料库优点

设计简单:与关联式资料库不同,NoSQL 不需要处理阻抗不匹配的情况,例如,将所有员工的资料储存在一个文件中,而不是需要连接作业的多个表。 这种策略使得编写更少的程式码、侦错和维护变得简单和容易。

水平扩展:首先,NoSQL 是首选,因为它能够在大型丛集上运行资料库。 NoSQL 资料库通常将资料分布在多个节点上,并自动平衡节点之间的资料和查询。

可用性:为了增强资料的可用性,可以在应用程式不停机的情况下进行节点更换。 大多数非关联式资料库的变体都支援资料复制,以确保高可用性和灾难复原。

成本低:许多RDBMS 的授权非常昂贵,而许多NoSQL 资料库是开源的并且免费提供。 同样,一些RDBMS 依赖昂贵的专有硬体和储存系统,而NoSQL 资料库通常使用廉价的商品伺服器丛集。

NoSQL 资料库缺点

缺乏标准化:NoSQL 不遵循任何特定标准,例如:将应用程式从一种类型的NoSQL 资料库转换到另一种类型资料库是有难度的。

一致性:NoSQL 资料库根据发生故障时,一致性和可用性是需要做考量的,并且非关联式资料库不会有好的资料完整性,资料也不是强一致的。

复杂性:NoSQL 资料库的模型和介面可能比关联式资料库更复杂,光是非关联式资料库就有好几种类型,但关联式资料库介面不会相差太多。

关系型和非关系型资料库如何选择?

很多因素会影响选择,而以下表格是关联式资料库和非关联式资料库的对比:

关联式资料库非关联式资料库
结构化:资料以表格形式储存,每个表格由行和列组成。行代表资料记录,列代表资料属性。资料必须符合预先定义的格式。灵活:可以储存各种格式的资料,包括JSON、BSON 和图形。资料结构可以是结构化的、半结构化的或非结构化的。
适合OLTP(联机交易处理):擅长处理频繁的读写操作,例如订单、交易和登入。适合OLAP(联机分析处理):擅长处理复杂的查询和分析,例如销售趋势、顾客行为和市场分析。
较难横向扩展:随着资料量的增加,效能可能会下降。需要添加更多伺服器才能处理更多资料。易于横向扩展:可以通过添加更多节点来处理更多资料,而不会出现效能瓶颈。
ACID 保证:原子性、一致性、隔离性和持久性。资料始终保持一致,即使在多个使用者同时访问的情况下也是如此。可能没有ACID 保证:资料在某些情况下可能不一致,例如在多个节点之间复制资料时。
模型和介面可能更复杂:需要了解SQL 等查询语言。模型和介面通常更简单:易于使用和理解。
成熟技术:已经存在了几十年,具有广泛的支援和工具。较新技术:仍在发展中,可能缺乏成熟的工具和支援。

相关文章

负载平衡器解说– 系统设计07

DNS 是什么?网域名称系统介绍– 系统设计06

系统设计元件介绍Building Block – 系统设计05

Back-of-the-envelope 封底计算– 系统设计04

软体设计非功能性特性– 系统设计03

抽象在系统设计中的应用– 系统设计02

现代系统设计介绍– 系统设计01

引用

What is a relational database?

Impedance Mismatch When Mapping from a Relational Database

资料库索引是什么?为什么查询会变快

前面谈的是「资料放在哪里」,这一段谈「资料怎么被找到」。索引(Index)是资料库效能问题里最常见、也最容易被误用的一个机制。

没有索引时,资料库要找某一笔资料只能从第一列扫到最后一列,这叫 全表扫描(Full Table Scan)。资料量一百笔时感觉不出来,一千万笔时同一句SQL 可能要跑好几秒。

索引的作法跟书末的索引页一样:先把某个栏位的值排好序、另外存一份,并记住每个值对应到原始资料的哪个位置。查询时先在这份排好序的结构里用二分搜寻定位,再跳到真正的资料列。查询复杂度就从O(n) 降到O(log n)。

大多数关联式资料库的索引实作是 B+ Tree:节点扇出很大、树很矮(一千万笔资料大约只有3-4 层),而且叶节点之间用指标串起来,所以范围查询(WHERE age BETWEEN 20 AND 30)也能快速走访。杂凑索引查单一值更快,但不支援范围查询与排序。

索引不是免费的

这是新手最常忽略的一点。索引要付三种代价:

  • 写入变慢:每次INSERT/UPDATE/DELETE,资料库除了改资料本身,还要维护每一个相关索引。索引开越多,写入越慢。
  • 占用空间:索引是额外储存的一份结构,大表的索引可能跟资料本身一样大。
  • 可能不被使用:查询条件如果对栏位做了运算(WHERE YEAR(created_at) = 2026),索引通常会失效,因为索引存的是原值不是运算结果。

复合索引与最左前缀

在多个栏位上建立的索引叫复合索引,例如 (country, city, age)。它遵守最左前缀原则:能加速 country、country + city、country + city + age 的查询,但单独查 city 时用不到。所以复合索引的栏位顺序要照实际查询的习惯排,不是随便排。

判断一句查询有没有用到索引,用 EXPLAIN(MySQL/PostgreSQL 都有)看执行计画,出现 Seq Scan 或 type: ALL 就代表在做全表扫描。

正规化与反正规化:资料该拆多细

正规化(Normalization)是把重复的资料拆到独立的表、用外键关联起来的设计方法。目的是消除更新异常——如果客户地址同时存在订单表的五百笔资料里,改一次地址就要改五百个地方,漏改一个资料就不一致了。

实务上多数系统做到第三正规化(3NF)就够用:每个栏位都只描述主键、不描述其他非主键栏位。再往上的BCNF、4NF 在一般商业应用很少需要。

反正规化(Denormalization)是刻意把资料复制回来,用一致性换查询速度。例如文章表直接存一个 comment_count 栏位,而不是每次都去COUNT 留言表。代价是你得负责在留言新增/删除时同步更新这个数字。

判断原则很简单:写多读少的系统偏向正规化,读多写少的系统可以反正规化。而且反正规化应该是量到效能瓶颈之后的决定,不是一开始就做。

JOIN 的四种类型

正规化把资料拆开,JOIN 就是把它们接回来。四种基本类型:

  • INNER JOIN:只回传两边都有对应的资料列。最常用。
  • LEFT JOIN:左表全留,右表没有对应的补NULL。 「列出所有使用者以及他们的订单(包含没下过单的)」就是这个。
  • RIGHT JOIN:反过来。实务上少见,因为把表的顺序对调写成LEFT JOIN 更好读。
  • FULL OUTER JOIN:两边都全留。 MySQL 不支援,要用UNION 模拟。

效能上要注意:JOIN 的栏位没有索引是最常见的慢查询来源。另外 LEFT JOIN 之后再用 WHERE 筛右表的栏位,等于把它变回 INNER JOIN——筛选条件要写在 ON 里才会保留左表的资料列。

交易隔离等级:ACID 的「I」实际上怎么运作

前面介绍ACID 时提到隔离性,但实务上隔离不是「有」或「没有」,而是四个等级的取舍。等级越高越安全,但并行效能越差:

  • Read Uncommitted:会读到其他交易还没提交的资料(脏读)。几乎没人用。
  • Read Committed:只读已提交的资料,但同一笔资料在同一个交易里读两次可能不同(不可重复读)。 PostgreSQL 的预设值。
  • Repeatable Read:同一交易内重复读结果一致,但范围查询可能多出新资料列(幻读)。 MySQL InnoDB 的预设值。
  • Serializable:完全等同于交易一个接一个执行。最安全,也最慢。

大多数应用用预设值就好。真正需要强一致的场景(扣库存、转帐)通常用明确的锁(SELECT ... FOR UPDATE)处理那一小段逻辑,而不是把整个系统提到Serializable。

CAP 定理:分散式资料库为什么必须取舍

当资料库从一台变成多台,就会碰到 CAP 定理:一致性(Consistency)、可用性(Availability)、分区容错性(Partition tolerance)三者最多只能同时满足两个。

而网路分区是现实中一定会发生的事(网路会断、机器会挂),所以P 不是选项而是前提。真正的选择是在分区发生时:

  • 选CP:拒绝服务也不回传可能过期的资料。金融交易、库存系统属于这类。
  • 选AP:先回传手边的资料,等网路恢复后再同步(最终一致性)。社群动态、商品浏览数属于这类。

这也解释了为什么NoSQL 常被说「牺牲一致性换取扩展性」——它们多数选了AP。

主流资料库怎么选

数据库类型最适合要注意
PostgreSQL关联式多数应用的预设选择;复杂查询、JSON 栏位、地理资料都支援预设设定偏保守,上线前要调参数
MySQL关联式读多写少的Web 应用;生态与托管服务最成熟复杂查询的最佳化器弱于PostgreSQL
MongoDB文件型结构还在变动的资料、巢状文件跨文件交易成本高,别拿它当关联式用
Redis键值型快取、排行榜、Session、限流资料放记忆体,要规划持久化与容量
Elasticsearch搜索引擎全文검索、日志分析不该当主资料库,它是衍生资料

选型的实务建议:没有明确理由就选PostgreSQL。它能处理绝大多数情境,包含你以为需要NoSQL 的JSON 需求。等到真的量到瓶颈,再针对那个瓶颈加上Redis 快取或Elasticsearch 搜寻,而不是一开始就把架构拆成四种资料库。

资料库常见问题

Q:资料库和资料仓储(Data Warehouse)差在哪?
资料库处理的是线上交易(OLTP)——大量小笔的读写,要求低延迟。资料仓储处理的是分析查询(OLAP)——少量但扫描大范围的查询,要求吞吐量。两者的储存格式与索引策略完全不同。

Q:什么时候该分库分表?
比你想的晚得多。单台PostgreSQL 处理数千万笔资料是常态。先把索引、查询、快取调好,确认瓶颈真的在单机容量,再考虑分片——分片会让JOIN、交易和运维复杂度全部上升。

Q:主从复写(Replication)能解决什么?
解决读取量与容错,不解决写入量。所有写入仍然集中在主库,从库只是分摊读取并在主库挂掉时顶上。而且从库有复写延迟,刚写完立刻去从库读可能读不到。

Q:ORM 会不会让效能变差?
ORM 本身不慢,但它很容易写出 N+1 查询——取100 笔订单,再对每一笔各发一次查询取客户资料,总共101 次往返。解法是用eager loading(JOIN 或 IN 一次取回)。开发时把SQL log 打开,看到同一句查询重复上百次就是中了。

📚 延伸閱讀

對演算法邏輯感興趣?推薦深入閱讀:程式背後的思維訓練:邏輯到底有多重要?3 個方法強化邏輯 — 全站讀者停留時間最長的文章(平均 13 分 22 秒),深度解析寫程式必備的邏輯思維。

📘 想看完整的学习路径?请见 系统设计完整指南:12 篇带你从观念到实战元件。

延伸阅读:先减少打到资料库的查询

资料库调校做到一个程度之后,下一个杠杆是让请求根本不要走到资料库。快取策略完整解析(系统设计13) 整理了Cache-Aside 到Write-Behind 五种读写模式、命中率怎么量,以及快取与资料库的一致性取舍。