大数据（Big Data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产， 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理，大数据的5V特点（IBM提出）：Volume（
大数据（Big Data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 大数据作为一项我校全体学生都熟练运用的技术，同样也以近乎100%的几率出现在了大家提交的PPT和项目计划书中，因此我们也需要进行更加高强度的训练。 众所周知，大数据处理的数据容量一般以TB作为最小单位，但由于我们自主研发的先进技术形成的技术堡垒，我们经常可以在几M的数据上或者几百行的Excel结构化数据项目中见到大数据的影子，同时虽然大家都没使用Spark、MapReduce等通用框架，但还是能完美满足需求。 现在有一个创新创业团队遇到了一个很严重的技术难题，他们发现他们的大规模分布式数据库中有大量的“异常数据对”，数据库中的数据都是长度不超过10000的字符串，如果对于两个字符串sss和ttt，他们其中一个在倒置后与另一个相等，那么我们就定义sss和ttt是“异常数据对”。 但是由于他们数据库装的东西占用总容量高达25M，实在太多了，没有办法很好的处理，你可以帮帮他们吗？
（图片来源网络，侵删）
