这篇文章会利用到上一篇： 基于Spark /Tensorflow使用CNN处理NLP的尝试的数据预处理部分，也就是如何将任意一段长度的话表征为一个2维数组。

Mesos是一个在多个集群计算框架中共享集群资源的管理系统，它提高了集群资源利用率，避免了每个计算框架数据复制。

互联网的业务无外乎线上OLTP场景和线下OLAP场景，这两种场景，数据量增大后，我们应该分别怎么应对呢。

GitHub地址：https://github.com/abel-max/Java-Study-Note/tree/master

下一代AI应用需要不断和环境进行交互，并且在交互中学习。这些应用暴露了新的系统需求：性能和弹性。本文提出了Ray解决上述问题。

Spark UDF 增加了对 DS 数据结构的操作灵活性，但是使用不当会抵消Spark底层优化。

之前写过一篇文章，pyspark】parallelize和broadcast文件落盘问题，这里后来倒腾了一下，还是没找到 PySpark 没有删掉自定义类型的广播变量文件，因为用户的代码是一个 While True 的无限循环，类似下面的逻辑（下面的代码实际上...

parallize() 和 boradcast() 方法，在不使用 spark.io.encryption.enabled=true 的情况下，都会以文件的格式跟 JVM 交互，因为将一个大的 dataset 发送到 JVM 是比较耗时的，所以 pyspark 默认采用本地文件的方式，如果有安全...

虽然Spark3.0.0的官方文档1已对Spark Java UDAF进行了说明，并且有example代码。因此本文主要解决在实际开发过程中，遇到的2种问题：

改动了一下 Spark 的代码，重新编一个，因为有段时间没编了，本地环境可能有点问题，果不其然，报错了，java.lang.ClassNotFoundException: xsbt.CompilerInterface。仔细看一下 maven 的编译日志，把下面 .sbt/ 目录下的问题件删...