- #coding:utf-8
- #!/usr/bin/python
- '''
- 程序说明:apache access.log日志分析
- 分析访问网站IP 来源情况
- 程序说明:应用到:shell与python数据交互、数据抓取,编码转换
- '''
- import os
- import json
- import httplib
- import codecs
- LogFile='/var/log/apache2/access.log'
- #日志
- logMess='/tmp/acc.log'
- if os.path.isfile(logMess):
- os.system('cp /dev/null %s'% logMess)
- file=codecs.open(logMess,'w+',encoding='utf-8')
- def cmd(cmd):
- return os.popen(cmd).readlines()
- '''
- def getIp(ip):
- return json.loads(os.popen("/usr/bin/curl http://ip.taobao.com/service/getIpInfo.php?ip=%s" % ip).readline())['data']
- '''
- conn = httplib.HTTPConnection('ip.taobao.com')
- def getIpCountry(ip):
- conn.request('GET','/service/getIpInfo.php?ip=%s' % ip)
- r1=conn.getresponse()
- if r1.status == 200:
- return json.loads(r1.read())['data']
- else:
- return "Error"
- #将access.log文件进行分析,并转为python数组
- file.write(u"字段说明:ip 访问次数据 ip国家 城市的 isp号 省份 所在地区\\n")
- ipDb=[]
- for i in cmd('''/usr/bin/awk '{print $1}' %s |sort |uniq -c''' % LogFile):
- ip = i.strip().split(' ')
- ipDb.append(ip)
- #通过taobao 提供接口分析ip地址来源
- for i in ipDb:
- _tmpD=getIpCountry(i[1])
- #格式说明:ip 访问次数据 ip国家 城市的 isp号 省份 所在地区
- out="%s%s%s%s%s%s%s"%(i[1].ljust(20),i[0].ljust(10),_tmpD['country'].ljust(20),_tmpD['city'].ljust(16),_tmpD['isp_id'].ljust(16),_tmpD['region'].ljust(16),_tmpD['area'].ljust(16))
- print out
- file.write("%s\\n"%out)
- conn.close()
- file.close()
- '''
- '''
- #该片段来自于http://www.codesnippet.cn/detail/130120148494.html
来源: http://www.codesnippet.cn/detail/130120148494.html