全球最大成人网站PornHub爬虫 （Scrapy、MongoDB） 一天500w的数据

CanalSharp.AspNetCore是一个基于CanalSharp的适用于ASP.NET Core的一个后台任务组件，它可以随着ASP.NET Core实例的启动而启动，目前采用轮询的方式对Canal Server进行监听，获得MySql行更改（RowChange）后写入MySql指定的记...

这篇文章，作者对北京、上海、广州、深圳、杭州等地 1万多条出行数据进行分析，得出了一些有意思的结论，并且绘制了这几个城市春运的迁移图。虽然数据在取样公平性上不能完全符合标准，但是思路还是值得大家学习参考的~...

在日常工作中，我们通过Spring Data Mongodb来操作Mongodb数据库，在Spring Boot中只需要引入spring-boot-starter-data-mongodb即可。

我第一次听说mongodb、hbase这些分布式数据库的时候，正是我学习mysql的时候，在那个遥远的年代，mysql可是java web项目的标配，恰如今日hadoop之于大数据。高可用、弹性扩展，分布式数据库带来了种种眼花缭乱令人目眩的特性，深...

MongoDB（来自于英文单词“Humongous”，中文含义为“庞大”）是可以应用于各种规模的企业、各个行业以及各类应用程序的开源数据库。作为一个适用于敏捷开发的数据库，MongoDB 的数据模式可以随着应用程序的发展而灵活地更新...

在多年前，第一代PC拥有高达256KB的RAM和两个5.25英寸的软盘驱动器。没有硬盘，因为在当时它们极为昂贵。这些限制导致在处理大量（对那时来说）数据时由于内存不足，必须在物理上交换软盘。如果当时有办法只把我经常使用的数据...

自1998年Chris Peterson提出开源软件（Open Source Software）的概念以来，全球开源社区迅猛发展。直至今日，在“软件定义一切”的现实世界里，开源和闭源长期共存，构成主流业态。...

谛听是京东数科自行研发的一套主机监控系统。整套系统对所有业务进行主机性能采集和相应的告警。目前谛听覆盖10个地区、4个国家，每天产生数T级别数据，已成为公司日常，特别是大促前夕压测模拟必不可少的重要平台之一。本...

MongoDB 用 use + 数据库名称(use DATABASE_NAME) 的方式来创建数据库。use 会创建一个新的数据库，如果该数据库存在，则返回这个数据库。例如：创建一个名为“test”的数据库:...