最新 最热

Kettle与Hadoop(六)执行HiveQL语句

https://blog.csdn.net/wzy0623/article/details/106471124#2.%20%E5%90%91Hive%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE。

2020-06-04
2

MySQL数据导入Hive-Java

Sqoop并不在这篇文章的范围内,拿出来说的原因是,公司数据研发部门是通过Sqoop将数据库数据导入到Hive中,其原理是将数据库数据导入到HDFS中临时存储, 然后在将文件导入到Hive中,最终删掉临时存储的文件。...

2020-06-02
3

0777-5.16.2-Hive中使用Date函数用于条件查询结果异常分析

在CDH5.16.2 中使用Hive时 ,当Hive 的查询where条件中使用Date函数后,函数中的列的值会在返回结果中被改变,导致结果不正确。具体表现为使用Date 函数当查询条件后导致string 格式的日期丢失了时间部分,只有日期。展示如...

2020-06-01
8

apache sgoop 导入数据到 oracle、导出数据到 oracle 实现

业务场景:是在oracle 数据库和 hive 数据库中 ,有多个相同结构的表,要求数据从2个库定时双向同步。

2020-05-29
3

Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - Kerberos的整合

之前非常担心的一件事就是如果有人拿到了hdfs超级管理员帐号,直接把数据rm -rf怎么办?有了Kerberos,就可以轻松防止这样的事情发生。Kerberos 协议实现了比“质询-响应”模式协议更高的安全性:第一,在身份验证过程中,所有的...

2020-05-29
7

运营数据库系列之NoSQL和相关功能

这篇博客文章概述了OpDB的NoSQL、组件集成和对象存储支持功能。这些详细信息将帮助应用程序架构师了解Cloudera的运营数据库的灵活NoSQL(No Schema)功能,以及它们是否满足正在构建的应用程序的要求。...

2020-05-27
3

hive优化总结

hive强大之处不要求数据转换成特定的格式,而是利用hadoop本身InputFormat API来从不同的数据源读取数据,同样地使用OutputFormat API将数据写成不同的格式。所以对于不同的数据源,或者写出不同的格式就需要不同的对应的...

2020-05-27
4

用户画像系统架构——从零开始搭建实时用户画像(二)

​在《什么的是用户画像》一文中,我们已经知道用户画像对于企业的巨大意义,当然也有着非常大实时难度。那么在用户画像的系统架构中都有哪些难度和重点要考虑的问题呢?...

2020-05-26
4

CDH+Kylin三部曲之三:Kylin官方demo

Yarn的内存参数设置之后一定要重启Yarn使之生效,否则Kylin提交的任务是会由于资源限制而无法执行;

2020-05-26
8

CDH5部署三部曲之三:问题总结

本文是《CDH5部署三部曲》的终篇,前面两章完成了CDH5集群的部署和启动,本章将实战中遇到的问题做个总结,如果碰巧您也遇到过这些问题,希望本文能给您一些参考;...

2020-05-26
6