WAL机制保证只要redo log和binlog保证持久化到磁盘，就能确保MySQL异常重启后，数据可以恢复。

在示例表插入两条记录，按分区规则，记录分别落在p_2018和p_2019分区。 可见，该表包含了一个.frm文件和4个.ibd文件，每个分区对应一个.ibd文件：

索引是提高关系型数据库查询性能的利器，但其并非银弹，必须精通其原理，才能发挥奇效。

通过上述参数可以了解当前DB应用是插入更新为主还是查询为主，以及各类的SQL执行比例。

​ Spark 框架从最初的数据结构RDD、到SparkSQL中针对结构化数据封装的数据结构DataFrame， 最终使用Dataset数据集进行封装，发展流程如下。

使得Spark SQL得以洞察更多的结构信息，从而对藏于DataFrame背后的数据源以及作用于DataFrame之上的变换进行针对性的优化，最终达到大幅提升运行时效率

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6wtQxLP6-1626354186973)(/img/image-20210506154426999.png)]

两个主要方面的业务： ⚫ 第一个、数据【ETL 处理】 ◼依据IP地址，调用第三方库解析为省份province和城市city； ◼将ETL后数据保存至PARQUET文件（分区）或Hive 分区表中； ⚫ 第二个、数据【业务报表】 ◼读取Hive Table中广告...

O是 object，也就 类对象 的意思，R是 relation，翻译成中文是 关系，也就是关系数据库中 数据表 的意思，M是 mapping，是映射的意思。在ORM框架中，它帮我们把类和数据表进行了一个映射，可以让我们通过类和类对象就能操作它所对应...

后期要使用Canal，需要把MySQL的配置文件提取出来，所以要进行相关的配置文件的编写