/-python-BAT-

针对常见的BAT公司中的大数据面试和笔试问题,列出解决思路,并使用python来实现

Primary LanguagePython

-python-BAT-

现在BAT笔试和面试非常容易出现大数据的问题。例如:对5亿个整数进行排序,并输出到文件中。有5亿个ip,找出出现次数最多的ip等等,这些问题的共同特点是数据量较大,并且常规的读入内存在处理行不通,或者即使内存足够大,采取暴力的方法行不通。 针对常见的BAT公司中的大数据面试和笔试问题,列出解决思路,并使用python来实现。 例子中的代码都是基于python2.7.10

##问题1:海量日志数据,提取出某日访问百度次数最多的那个IP。 ##问题2:寻找热门查询,300万个查询字符串中统计最热门的10个查询。 ##问题3:有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存限制大小是1M。返回频数最高的100个词。 ##问题4:海量数据分布在100台电脑中,想个办法高效统计出这批数据的TOP10。 ##问题5:有10个文件,每个文件1G,每个文件的每一行存放的都是用户的query,每个文件的query都可能重复。要求你按照query的频度排##序。 ##问题6:给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url? ##问题7:在2.5亿个整数中找出不重复的整数,注,内存不足以容纳这2.5亿个整数。 ##问题8: 100w个数中找出最大的100个数。