java 单机接口限流处理方案
498
2022-06-06
其实相信每个和mysql打过交道的程序员都应该会尝试去封装一套mysql的接口,这一次的封装已经记不清是我第几次了,但是每一次我希望都能做的比上次更好,更容易使用。
先来说一下这次的封装,遵守了几个原则,其中部分思想是从python借鉴过来的:
1.简单
简单,意味着不为了微小的效率提升,而去把接口搞的复杂。因为本身数据库存储效率的瓶颈并不是那一两次内存copy,代码中随处可以看到以这个为依据的设计。
2.低学习成本
使用一套新库通常意味着投入学习成本,而这次的封装并没有像django那样实现一套完整的模型系统,也没有做soci那样的语法分析器,我选择最简单易懂的方式:做sql语句拼接器,所以对习惯了使用原生mysql api的朋友,学习成本很低
3.模块化
代码实际包括了两个模块,一个是mysql client端的封装,一个是sql的拼接器,这两个模块是完全独立的,调用者可以任意组合或者独立使用。
4.尽量使用STL以及模板,简化代码编写
最大的特点就是大量使用了stringstream进行类型转化,减少了大量的重复代码。
OK,基于以上的简单介绍,我们先来看一下
一.mysql client端的封装:
class CMYSQLWrapper { /** * @brief 获取错误信息 * * @return 错误信息 */ char* GetErrMsg(); /** * @brief 连接MYSQL,已经支持了自动重连模式,即mysql server关闭链接会自动重连 * * @param ip IP * @param user 用户名 * @param pwd 密码(没有则传NULL) * @param db 库(没有则传NULL) * * @return 0 succ * else fail */ int Open(const char* ip,const char* user,const char* pwd,const char* strDb); /** * @brief 关闭链接并释放result */ void Close(); /** * @brief 执行SQL语句 * * @param strSql 执行语句 * @param result 执行结果 * * @return 0 succ * else fail */ int Query(const char* strSql); /** * @brief 针对Read(select)相关的的Query,可以支持blob了 * * @param strSql sql语句 * @param vecData rows * * @return 0 succ * else fail */ int Query(const char* strSql, vector<map<string, MYSQLValue> > &vecData); /** * @brief 针对Write(insert,update,delete)相关的Query * * @param strSql sql语句 * @param affectRowsCount 影响的行的个数 * * @return 0 succ * else fail */ int Query(const char* strSql, int& affectRowsCount); /** * @brief Select时获取数据,记得手工析构,或者用StMYSQLRes * * @param result 执行结果 * * @return 0 succ * else fail */ int Result(MYSQL_RES *&result); /** * @brief 返回影响行数 * * @return >0 succ * 0 没有更新 * <0 fail */ int AffectedRows(); /** * @brief 主要是将blob转成字符串 * * @param src blob源 * @param len 长度 * * @return 转化后的字符串 */ string EscStr(const char* src,uint32_t len); /** * @brief 将字符串中的某些字符转化(如') * * @param src 字符串 * * @return 转化后的字符串 */ string EscStr(const char* src); }; class CMYSQLWrapper { /** * @brief 获取错误信息 * * @return 错误信息 */ char* GetErrMsg(); /** * @brief 连接MYSQL,已经支持了自动重连模式,即mysql server关闭链接会自动重连 * * @param ip IP * @param user 用户名 * @param pwd 密码(没有则传NULL) * @param db 库(没有则传NULL) * * @return 0 succ * else fail */ int Open(const char* ip,const char* user,const char* pwd,const char* strDb); /** * @brief 关闭链接并释放result */ void Close(); /** * @brief 执行SQL语句 * * @param strSql 执行语句 * @param result 执行结果 * * @return 0 succ * else fail */ int Query(const char* strSql); /** * @brief 针对Read(select)相关的的Query,可以支持blob了 * * @param strSql sql语句 * @param vecData rows * * @return 0 succ * else fail */ int Query(const char* strSql, vector<map<string, MYSQLValue> > &vecData); /** * @brief 针对Write(insert,update,delete)相关的Query * * @param strSql sql语句 * @param affectRowsCount 影响的行的个数 * * @return 0 succ * else fail */ int Query(const char* strSql, int& affectRowsCount); /** * @brief Select时获取数据,记得手工析构,或者用StMYSQLRes * * @param result 执行结果 * * @return 0 succ * else fail */ int Result(MYSQL_RES *&result); /** * @brief 返回影响行数 * * @return >0 succ * 0 没有更新 * <0 fail */ int AffectedRows(); /** * @brief 主要是将blob转成字符串 * * @param src blob源 * @param len 长度 * * @return 转化后的字符串 */ string EscStr(const char* src,uint32_t len); /** * @brief 将字符串中的某些字符转化(如') * * @param src 字符串 * * @return 转化后的字符串 */ string EscStr(const char* src); };
代码中的注释已经描述的很清楚了,语言描述不清楚,我们直接来看一下gtest的代码:
select: string g_name = "good"; int g_sex = 1; string g_name_up = "update"; int g_sex_up = 2; TEST(mysql_wrapper_easy, select) { vector<map<string,MYSQLValue> > vecData; string sql = "select * from tb_test where name = '"+g_name_up+"'"; int ret = g_client.Query(sql.c_str(),vecData); ASSERT_EQ(ret, 0) << g_client.GetErrMsg(); foreach(vecData, it_vec) { foreach(*it_vec, it_map) { cout << it_map->first << ","; if (it_map->first == "sex") { cout << it_map->second.as<uint32_t>(); } else { cout << it_map->second.data(); } cout << "," << it_map->second.size() << endl; } } } int main(int argc, char **argv) { int ret = g_client.Open("localhost","dantezhu",NULL,"soci"); //int ret = g_client.Open("127.0.0.1","dantezhu",NULL,"soci"); if (ret) { cout << ret << "," << g_client.GetErrMsg() << endl; return -1; } ::testing::InitGoogleTest(&argc, argv); return RUN_ALL_TESTS(); } string g_name = "good"; int g_sex = 1; string g_name_up = "update"; int g_sex_up = 2; TEST(mysql_wrapper_easy, select) { vector<map<string,MYSQLValue> > vecData; string sql = "select * from tb_test where name = '"+g_name_up+"'"; int ret = g_client.Query(sql.c_str(),vecData); ASSERT_EQ(ret, 0) << g_client.GetErrMsg(); foreach(vecData, it_vec) { foreach(*it_vec, it_map) { cout << it_map->first << ","; if (it_map->first == "sex") { cout << it_map->second.as<uint32_t>(); } else { cout << it_map->second.data(); } cout << "," << it_map->second.size() << endl; } } } int main(int argc, char **argv) { int ret = g_client.Open("localhost","dantezhu",NULL,"soci"); //int ret = g_client.Open("127.0.0.1","dantezhu",NULL,"soci"); if (ret) { cout << ret << "," << g_client.GetErrMsg() << endl; return -1; } ::testing::InitGoogleTest(&argc, argv); return RUN_ALL_TESTS(); } insert: TEST(mysql_wrapper_easy, insert) { clear_data(); stringstream ss; ss << "insert into tb_test(name,sex) values('" << g_client.EscStr(g_name.c_str()) << "'," << g_sex << ");"; int affectRowsNum; int ret = g_client.Query(ss.str().c_str(), affectRowsNum); ASSERT_EQ(ret, 0) << g_client.GetErrMsg(); EXPECT_GE(affectRowsNum,0) << g_client.GetErrMsg(); } TEST(mysql_wrapper_easy, insert) { clear_data(); stringstream ss; ss << "insert into tb_test(name,sex) values('" << g_client.EscStr(g_name.c_str()) << "'," << g_sex << ");"; int affectRowsNum; int ret = g_client.Query(ss.str().c_str(), affectRowsNum); ASSERT_EQ(ret, 0) << g_client.GetErrMsg(); EXPECT_GE(affectRowsNum,0) << g_client.GetErrMsg(); }
可以看出,对于mysql的收发包已经很简洁了,但是sql语句的拼装却显得十分臃肿。所以这个时候sql语句拼装器-SQLJoin闪亮登场!
二.sql语句拼装器-SQLJoin
class SQLJoin { public: /** * @brief 用流处理的方式,添加一个列名 * * @param key 列名 * * @return 0 */ SQLJoin& operator << (const string& key); /** * @brief 用流处理的方式,添加一个SQLPair对象 * * @param pair_data SQLPair对象 * * @return 0 */ SQLJoin& operator << (const SQLPair& pair_data); /** * @brief 输出所有列名(如name, sex, age) * * @return 所有列名 */ string keys(); /** * @brief 输出所有列值(如'dante', 1, 25) * * @return 所有列值 */ string values(); /** * @brief 输入所有列名-列值,并用指定分隔符分割(如name='dante', sex=1, age=25) * * @param split_str 分割符,默认是用',',也可以用and、or之类 * * @return 所有列名-列值 */ string pairs(const string& split_str = ","); /** * @brief 清空所有数据 */ void clear(); }; class SQLJoin { public: /** * @brief 用流处理的方式,添加一个列名 * * @param key 列名 * * @return 0 */ SQLJoin& operator << (const string& key); /** * @brief 用流处理的方式,添加一个SQLPair对象 * * @param pair_data SQLPair对象 * * @return 0 */ SQLJoin& operator << (const SQLPair& pair_data); /** * @brief 输出所有列名(如name, sex, age) * * @return 所有列名 */ string keys(); /** * @brief 输出所有列值(如'dante', 1, 25) * * @return 所有列值 */ string values(); /** * @brief 输入所有列名-列值,并用指定分隔符分割(如name='dante', sex=1, age=25) * * @param split_str 分割符,默认是用',',也可以用and、or之类 * * @return 所有列名-列值 */ string pairs(const string& split_str = ","); /** * @brief 清空所有数据 */ void clear(); };
看看我们用了SQLJoin之后的代码应该如何:
TEST(mysql_wrapper_join, insert) { clear_data(); SQLJoin sql_join; sql_join << SQLPair("name", g_client.EscapeRealString(g_name.c_str())) << SQLPair("sex", g_sex); stringstream ss; ss << "insert into tb_test(" << sql_join.keys() << ") values(" << sql_join.values() << ")"; int affectRowsNum; int ret = g_client.ExecuteWrite(ss.str().c_str(), affectRowsNum); ASSERT_EQ(ret, 0) << g_client.GetErrMsg(); EXPECT_GE(affectRowsNum,0) << g_client.GetErrMsg(); } TEST(mysql_wrapper_join, update) { SQLJoin sql_join; sql_join << SQLPair("name", g_name_up) << SQLPair("sex", g_sex_up); stringstream ss; ss << "update tb_test set " << sql_join.pairs() << " where name='" << g_name <<"';"; int affectRowsNum; int ret = g_client.ExecuteWrite(ss.str().c_str(),affectRowsNum); ASSERT_EQ(ret, 0) << g_client.GetErrMsg(); EXPECT_GE(affectRowsNum,0) << g_client.GetErrMsg(); } TEST(mysql_wrapper_join, insert) { clear_data(); SQLJoin sql_join; sql_join << SQLPair("name", g_client.EscapeRealString(g_name.c_str())) << SQLPair("sex", g_sex); stringstream ss; ss << "insert into tb_test(" << sql_join.keys() << ") values(" << sql_join.values() << ")"; int affectRowsNum; int ret = g_client.ExecuteWrite(ss.str().c_str(), affectRowsNum); ASSERT_EQ(ret, 0) << g_client.GetErrMsg(); EXPECT_GE(affectRowsNum,0) << g_client.GetErrMsg(); } TEST(mysql_wrapper_join, update) { SQLJoin sql_join; sql_join << SQLPair("name", g_name_up) << SQLPair("sex", g_sex_up); stringstream ss; ss << "update tb_test set " << sql_join.pairs() << " where name='" << g_name <<"';"; int affectRowsNum; int ret = g_client.ExecuteWrite(ss.str().c_str(),affectRowsNum); ASSERT_EQ(ret, 0) << g_client.GetErrMsg(); EXPECT_GE(affectRowsNum,0) << g_client.GetErrMsg(); }
从上面的代码可以看出,代码的可维护性和健壮性得到了很大的提升。
OK,简单的介绍就是这样,说的比较简略,大家有兴趣可以直接看代码,也欢迎给我提意见和建议。代码下载路径如下:
mysql_wrapper
明天这份代码就会作为数据库访问层正式进入生产环境的代码中,因此有什么bug我也会及时在这里更新。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~