1、需要频繁select大量数据,时间长、消耗内存大,如何解决mysql性能问题?

如果对返回的结果数量没有要求,可以控制返回的数量:

cursor.fetchmany(size=1000)

这样是只返回1000条数据,如果返回的结果小于size,则返回所有数据;

如果你只需要一条,则更简单:fetchone()

2、每次插入的数据过大,MySQL server has gone away 如何解决?

存储为blob类型;

修改my.conf里:max_allowed_packet = 500m

3、要把python的list类型存入mysql,然后下次还需要以list格式读取,如何操作?

因为list类型里包含半角的逗号,或插入的数据里包含特殊符号,则不能正常插入mysql。

Google里有很多方法,我采取的是base64。将要插入的数据base64 encode可以正常存入Mysql。

base64str = base64.b64encode(str(mysqlstr))

mysqlstr = base64.b64decode(b64str)

注意:当你读取的时候,需要base64decode,这时得到的是str,则不能正常使用list序列取值。怎么办?

eval(string)

如上操作,eval可以很好的解决这个问题,把str变成tuple,就可以直接用了。

4、频繁操作Mysql更删查数据时,最好采用多线程操作数据库,避免因为my.conf配置问题带来的麻烦。

我不喜欢去记那些琐碎的配置,每种配置针对不同情况效果还不同,所以首先从程序着手优化,反而效率很高。

下面是我写的一个Mysql多线程操作类:

class MYSQL:

def __init__(self,sql):

self.sql = sql

self.conn = MySQLdb.connect(charset='utf8',user='yourname',passwd='passwd',db='your dbname')

self.cursor = self.conn.cursor()

def insert(self):

self.cursor.execute(self.sql)

self.conn.commit()

self.cursor.close()

self.conn.close()

return True

def select(self):

self.cursor.execute(self.sql)

alldata = self.cursor.fetchall()

self.cursor.close()

self.conn.close()

return alldata

def update(self):

self.cursor.execute(self.sql)

self.conn.commit()

self.cursor.close()

self.conn.close()

return True

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐