MapReduce 批处理计算模型 Pregel 图处理模型 Strom/impala 流式处理模型

本系列是源于「码农翻身」所属知识星球发起的读书活动，由大佬 @我的UDP不丢包 推荐而来，这次的读书活动有一些另类，我们抛弃了传统的书籍，开始攻略最高学府的研究生顶级课程 <6.824>，该课程是很多年前的蠕虫病毒发明者Robe...

MapReduce是一种编程模型，编写很少的代码就可以实现很强大的计算功能。它主要体现了分治思想，就是把一个大问题分成相同的一些小问题，最后将小问题的结果汇总起来。...

Combiner是MR程序中Mapper和Reducer之外的一种组件(本质是一个Reducer类) Combinr组件的父类就是Reducer Conbimer只有在驱动类里设置了之后，

思考 因为Map Task和ReduceTask均会默认对数据按照key进行排序，所以需要把流量总和设置为Key，手机号等其他内容设置为value

Hive为Hadoop提供了一个SQL接口。Hive可以被认为是一种编译器，它将SQL（严格来说，Hive查询语言 - HQL，SQL的一种变体）转换为一组Mapreduce / Tez / Spark作业。因此，Hive非常有助于非程序员使用Hadoop基础架构。原来，Hive只有...

lambda函数就是我们常说的匿名函数，就是不用定义函数名，lambda更像是一个表达式，限制了程序的嵌套，是一个为编写简单的函数而设计的。

神经网络架构搜索之前主流的方法主要包括：强化学习，进化学习。他们的搜索空间都是不可微的，Differentiable Architecture Search 这篇文章提出了一种可微的方法，可以用梯度下降来解决架构搜索的问题，所以在搜索效率上比之...

相信Java8的Stream 大家都已听说过了，但是可能大家不会用或者用的不熟，文章将带大家从零开始使用，循序渐进，带你走向Stream的巅峰。

今天要讲的Stream指的是java.util.stream包中的诸多类。Stream可以方便的将之前的结合类以转换为Stream并以流式方式进行处理，大大的简化了我们的编程，Stream包中，最核心的就是interface Stream...