python代理脚本实现期望数据与实际数据的比对(V1.0)

python代理脚本实现期望数据与实际数据的比对(V1.0)

1.需要引用的包如下：

from BaseHTTPServer import BaseHTTPRequestHandlerfrom SocketServer import ThreadingTCPServerimport gzipfrom StringIO import StringIOimport loggingimport osfrom readDataToDic import GenExceptData

2.readDataToDic包

该包可以从我的博客链接复制下来，在下面我附上该包最新的代码：

#coding=utf8import csv import loggingimport os'''Author:ewangData:2017/07/12该模块的主要功能函数：readDataToList():把csv中的数据，数据项以字典类型存储在列表中。getAllServiceId():获取所有的serviceId列表printListData():输出数据list中的每项数据createDataDic():创建一个数据字典表，以serviceId为key，相同的数据项列表为valueprintDicData():输出数据字典中的每项数据'''PATH=lambda p:os.path.abspath(os.path.join( os.path.dirname(__file__), p))logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', filename=PATH('../Log/readDate.log'), filemode='w')class GenExceptData(object): def __init__(self,filePah=PATH("../LastCSV/20170510174450.csv")): try: #存放csv中读取的数据 self.mdbuffer=[] #打开csv文件，设置读的权限 csvHand=open(filePah,"r") #创建读取csv文件句柄 readcsv=csv.reader(csvHand) #把csv的数据读取到mdbuffer中 for row in readcsv: self.mdbuffer.append(row) #把数据穿件为为字典类型的 except Exception,e: logging.error("Read Excel error:"+e) finally: #关闭csv文件 csvHand.close() def readDataToList(self): try: #在数组最后添加一个空白行 #该行的作用是为了成功获取最后一条json数据 #在数组endLine添加空白字符 endLine=[" " for num in range(len(self.mdbuffer[1])) if num>=0] #把以空字符的endLine添加到末尾 self.mdbuffer.append(endLine) #获取mdbuffer中的元素个数 rowNumber=len(self.mdbuffer) #设置当前行号 currentrow=1 #设置json数据的属性值 propertyJson={} #读取列表中的元素 dataList=[] try: for row in range(1,rowNumber): #创建一个临时变量用来存取一次循环的属性键值 temp={} #获取列表中一个元素 item=self.mdbuffer[row] #获取当前元素，当前元素代表的是每个 #事件起始的位置 currentItem=self.mdbuffer[currentrow] #获取serviceId并进行解码 serviceId= currentItem[2].decode("gbk") #获取属性并进行解码，把解码的值存入propertyName propertyName=item[3].decode("gbk") #获取属性值并进行解码，把解码的值存入propertyValue propertyValue=item[4].decode("gbk") try: #判断埋点事件与serviceId是否相等 if item[0]==currentItem[0] and item[2]==currentItem[2]: #把serviceId方式字典propertyJson中 propertyJson["serviceId"]=serviceId #把属性/值对放入temp字典中 temp[propertyName]=propertyValue #调用字典的update函数，把temp中的键值对 #添加到 propertyJson字典中 propertyJson.update(temp) #使用continue，如果为if条件为true则循环执行if语句模块 continue else: #把行号设置为当前行 currentrow=row #把当前的属性解码放入propertyName propertyName=currentItem[3].decode("gbk") #把当前的属性值解码放入propertyName propertyValue=currentItem[4].decode("gbk") #把serviceId方式字典propertyJson中 propertyJson["serviceId"]=serviceId #把属性/值对放入propertyJson字典中 propertyJson[propertyName]=propertyValue #propertyJsonList.append(propertyJson) dataList.append(propertyJson) ''' 在这说下： propertyJson.clear()与propertyJson={}的区别： propertyJson.clear()是删除字典的值，不创建引用，会改变字典本身的值； propertyJson={}是创建新的引用，字典的中的值不发现变化； 如果想让 self.dataDic.append(propertyJson)该语句执行成功，而且添加每次循环的值， 需要使用propertyJson={}方法； 如果使用propertyJson.clear(),只会把最后一次propertyJson存储的值，添加到self.dataDic中 ''' propertyJson={} except Exception,e: logging.error("Get Property Json Error:" +e) #print "Get Property Json Error:",e except Exception,e: logging.error("Get Date Error:"+e) #print "Get Date Error:",e #返回dataList return dataList except Exception,e: #把信息写入日志中 logging.error("Reading Data TO Dic Error:"+e) #print "Reading Data TO Dic Error:",e def getAllServiceId(self): try: #调用readDataToList函数创建一个数据list dataList=self.readDataToList() #把数据list中的所有serviceId放入表serList中 serList=[item["serviceId"] for item in dataList if item["serviceId"] ] #对serList中的数据去重，分为两步： #第一步把列表转换成集合：set(serList) #第二步：把集合转换为list：list(set(serList)) #集合和list的区别：集合中的数据是唯一性，不存在相同部分 serList=list(set(serList)) #返回serList return serList except Exception,e: logging.error("Create ServiceId List Error:"+e) #print "Create ServiceId List Error:"+e #输出list中的数据信息 def printListData(self): try: #调用readDataToList方法获取dataList列表 dataList=self.readDataToList() #对列表中的数据执行for循环 #并输出类似与json样式的数据 for item in dataList: print "{" #输出键值对 for key,val in item.items(): print "\t",key,":",val,"," print "}" #设置以#格式的分隔符 print "#"*50 except Exception,e: logging.error("OutPut List Data Error:"+e) #print "OutPut List Data Error:"+e #创建一个数据字典 def createDataDic(self): try: #定义个数据字典变量 dataDic={} #调用函数readDataToList创建一个dataList表 dataList=self.readDataToList() #调用getAllServiceId获取serviceId列表 serviceIdList=self.getAllServiceId() #判断列表中是否有元素，如果有执行if语句 if len(serviceIdList)>0 and len(dataList)>0: #对serviceIdList进行循环，以serviceId作为key for serviceId in serviceIdList: #创建一个list用来存放serviceId相同的数据项 sameServiceidJosnList=[] #对数据列表执行循环 for item in dataList: #获取字典中键为serviceId值，放入变量中 itemServiceId=item["serviceId"] #如果值不为空，执行if语句 if itemServiceId: #判断serviceId与数据项中serviceId的值是否相等 #如果相等执行if语句块 if serviceId==itemServiceId: #把数据项加入sameServiceidJosnList列表中 sameServiceidJosnList.append(item) else: logging.debug("ServiceId is null") #print "ServiceId is null" #给字典赋值，以serviceId作为key， #serviceId相同的数据项列表作为值 dataDic[serviceId]=sameServiceidJosnList else: logging.debug("seriviceIdList or dataList is null") #print "seriviceIdList or dataList is null" #返回字典类型的数据 return dataDic except Exception,e: logging.error("Create Data Dictionary Error:"+e) #print "Create Data Dictionary Error:",e #打印字典信息 def printDicData(self): try: #调用createDataDic创建dataDic字典 dataDic=self.createDataDic() #对字典中的数据进行循环，获取键值对 for serviceId,dataitem in dataDic.items(): print "{" print "\t",serviceId,":","[" #由于值是列表，列表中的数据项类型是字典类型 #每一数据项是哈希表 for item in dataitem: print "\t\t{" #输出哈希表中的数据 for key,val in item.items(): print "\t\t\t",key,":",val,"," print "\t\t}," print"\t]" print "}\n" print "#"*50 except Exception,e: logging.error("OutPut Dictionary Data Error:"+e) #print "OutPut Dictionary Data Error:"+e def getDicDataValue(self,serviceId="pageview"): try: dataDic=self.createDataDic() if serviceId: return dataDic[serviceId] except Exception,e: logging.error("Get Dic Data Error:"+e) #print "Get Dic Data Error:",edef test(): filepath="../LastCSV/20170510174450.csv" gen =GenExceptData(filepath) gen.printDicData() print gen.getDicDataValue() if __name__=="__main__": test()

该包较之前的包，新加了getDicDataValue()方法，该方法是返回对应键的值，也就是数据项为字典的列表。

3.代理脚本编写

通过BaseHTTPRequestHandler对该类的继承，代理脚本：proxyHandler.py，该脚本较之前的代码进行了优化，运行速度更快，代码更简洁,可以参考之前的链接：

proxyHandler.py：

#coding=utf8from BaseHTTPServer import BaseHTTPRequestHandlerfrom SocketServer import ThreadingTCPServerimport gzipfrom StringIO import StringIOimport loggingimport osfrom readDataToDic import GenExceptDataPATH=lambda p:os.path.abspath(os.path.join( os.path.dirname(__file__), p))logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', filename=PATH('../Log/proxy.log'), filemode='w')class proxyHandler(BaseHTTPRequestHandler): exceptData=GenExceptData() def do_POST(self): while True: try: path = self.path if path.split("/")[-1] =="statistics": #获取post提交的数据 self.datas =gzip.GzipFile(fileobj=StringIO(self.rfile.read())).read() self.wfile.write(self.datas) logging.debug(self.datas) self.cmpJsonKey() self.printJsonProps() except Exception,e: logging.error(e) finally: self.finish() def do_CONNECT(self): pass def do_GET(self): pass def getJsonProps(self): try: #通过eval函数将datas的str类型转换为dict类型 self.datas=eval(self.datas) #获取字典datas对应属性events的值 #类型为字典类型 events=self.datas["events"][0] #获取字典events对应属性props的值 #类型为字典类型 props=events["props"] #删除props字典与期望数据不同的部分 if props["appName"]: del props["appName"] if props["x_xmly_resource"]:del props["x_xmly_resource"] if props["x_xmly_tid"]:del props["x_xmly_tid"] return props logging.debug(props) except Exception,e: logging.error("Get Props Error:"+e) def printJsonProps(self): try: props=self.getJsonProps() try: if props: #获取所有的键,并把键值进行排序 Mdpro=sorted(props.keys()) if Mdpro: print "{" for index in Mdpro: #判断属性值是否是数字 #如果不是数字进行转码 if not isinstance(props[index], int): props[index]=props[index].decode("utf8") print "\t",index,":",props[index],"," logging.debug(index+":"+props[index]) print "}" except Exception,e: logging.error("Create Props Error:"+e) except Exception,e: logging.error("Output Props Error:"+e) def cmpJsonKey(self): dataKeys=self.exceptData.getAllServiceId() props=self.getJsonProps() realJsonKeys=sorted(props.keys()) if props["serviceId"] in dataKeys: #print props["serviceId"] itemList=self.exceptData.getDicDataValue(props["serviceId"]) for item in itemList: exceptJsonKeys=sorted(item.keys()) print "exceptKey",exceptJsonKeys print "realKey",realJsonKeys if cmp(realJsonKeys,exceptJsonKeys)==0: print exceptJsonKeys #return True break def test(): host='127.0.0.1' port=8888 try: server = ThreadingTCPServer((host, port), proxyHandler) print 'Welcome to the Server HTTP On %s Port %d...' %(host,port) server.serve_forever() except KeyboardInterrupt,e: logging.error(e) #print '^C received, shutting down server' server.socket.close()if __name__ == '__main__': test()

4.运行结果：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。