HDFS设计的主要目的是对海量数据进行处理，也就是说在其上能够储存很大量文件，HDFS提供多种的访问的策略，首先我们来认识其通过shell接口的访问方式。...

Python for Spark显然比Scala慢。然而，易于学习，并且受益于我最喜爱的库。在我看来，Python是大数据/机器学习领域中原型设计的完美语言。

我们知道基于mapReduce框架的分布式程序的编写，在这种框架下我们不需要考虑申请资源，只需要安照mapreduce框架的要求，直接编写Map函数和reduce函数即可。如何在Yarn上直接编写应用程序呢？...

开发了个纯web的app小demo,想着最终集成到微信公众号上做个小功能，并测试下如何跨平台的运行在Android上。

问题导读1.Hadoop3.3支持JDK哪个版本？2.SCM是什么？3.YARN应用程序做了哪些改进？4.整合腾讯云实现了什么文件系统？1.支持ARM这是第一个支持ARM的版本。2.Protobuf从2.5.0升级到新版本Protobuf从2.5.0升级到3.7.13.支持Java...

Yarn（Yet Another Resource Negotiator）是一个资源调度平台，负责为运算程序如Spark、MapReduce分配资源和调度，不参与用户程序内部工作。同样是Master/Slave架构。...

通过history server，直接在web ui上查看（如果任务异常退出，可能会看不到）

useMemo 计算结果是 return 回来的值, 主要用于 缓存计算结果的值 ，应用场景如： 需要 计算的状态

前言删代码,不用跑路安装@vue/cli创建 Vue 项目项目结构vue-cli3.0修改端口号使用 elementUI安装 Vuex安装 axiosgithub参考

计算节点和存储节点是相同的，也就是说，MapReduce框架和Hadoop分布式文件系统（HDFS）在同一组节点上运行。此配置使框架可以在已经存在数据的节点上有效地调度任务，从而在整个群集中产生很高的聚合带宽。...