Skip to the content.

事务管理|大数据

事物管理

原子性:一系列操作要么全做,要么全不做

一致性:跟原子性一回事

隔离性:其实就是互斥操作

持续性:事物操作的结果都是持续的

事物要解决的问题(并发):

丢失更新:事务1还没处理完,事务2拿到事务1还没处理完的结果,两个事务执行完之后,等于第一步的更新丢失了

不可重复读:事务1读完之后,事务2修改写回,事务1再读的时候发现两次读取数据不一致

脏读:事务1对数据做了修改,事务2读到了,后来事务1把数据回滚了

封锁协议

互斥锁 X锁:多个事务统一时间只允许一个事务读和写

共享锁 S锁:多个事务共享读,同一时间永远只有一个事务修改

分布式数据库

image-20210502170638660

分片模式:

水平分片:按行存储不同地方

垂直分片:按列存储不同地方

分布透明性

分片透明性:用户不需要知道表具体是如何分块存储的

位置透明性:用户不需要关注数据存储的屋里位置

逻辑透明性:用户不需要知道局部使用的是那种数据模型

复制透明性:用户不关心复制的数据从何而来

数据仓库

面向主题,不面向应用

用来做数据分析,集成不同表

而且是相对稳定的

反应历史变化image-20210502171619492

不是简单的拷贝

数据挖掘

关联分析法:事务之间的关联性

序列分析:一定时间间隔,某些事情连续发生,构成序列

分类分析:把数据按照一定的规则或者方法分类

聚类分析:本省没有类别的样本归纳到不同的组,和分类分析师相反的过程

商业智能:

BI系统四个阶段:数据预处理,简历数据仓库,数据分析,数据展现

数据分析常用技术:联机分析处理(OLAP)和数据挖掘

反规范化技术:

增加派生性冗余列,重组表,分割表

大数据

特点:大量华,多样化,价值密度低,快速化

image-20210503105906994