大量SQL的解决方案——sdmap

最近看到群里面经常讨论大型应用中 <code>SQL/<code>的管理办法，有人说用<code>EF/<code>/<code>EFCore/<code>，但很多人不信任它生成<code>SQL/<code>的语句；有人说用<code>Dapper/<code>，但将<code>SQL/<code>写到代码中有些人觉得不合适；有人提出用存储过程，但现在舆论纷纷反对这种做法；有人提出了<code>iBatis.NET/<code>，它可以配置确保高灵活性高性能，也提供动态<code>SQL/<code>的功能，但已经多年没有维护。

在几年前，我们某项目中就有总共 <code>4MB/<code>以上的<code>SQL/<code>语句文本，我也注意到产品做大后会，一定出现这个问题，所以我就依照<code>MyBatis/<code>的核心思想，支持可配置、动态<code>SQL/<code>，但去除了臃肿的<code>xml/<code>，自己实现了一套简单好用的语法，然后开源了出来，名字就叫<code>sdmap/<code>。

在我的介绍页面上已经指出， <code>sdmap/<code>的如下特性：

• 非常简单的语法来描述动态 <code>SQL/<code>；

• 使用了 <code>EmitCIL/<code>来确保性能；

• 有 <code>V

  isualStudio/<code>插件支持，实现了代码高亮、代码折叠、快速导航的特性；

• 支持所有主流数据库，如 <code>MySQL/<code>、<code>SQLServer/<code>、<code>SQLite/<code>等（只要<code>Dapper/<code>能支持）；

• 可以扩展支持非关系型数据库，如 <code>Neo4j/<code>；

• 单元测试全覆盖。

语法

如图：

该语法有如下特点：

• 用 <code>namespace/<code>关键字表达名字空间;

• 用 <code>sql/<code>关键字表示模板语句;

• 用 <code>#/<code>号的特殊语法可以进行一些判断，里面有<code>isEqual<>/<code>、<code>#isNotEmpty<>/<code>等特殊语法;

• 用 <code>#include<>/<code>，可以包含另一个<code>SQL/<code>语句;

• 语句可以嵌套， <code>sql{}/<code>中可以包含另一个<code>sql{}/<code>。

我们可以对比一下 <code>iBatis/<code>/<code>MyBatis/<code>的语法：

<code>i class="chrome-extension-mutihighlight chrome-extension-mutihighlight-style-3">apper/<code>
 
<code>PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"/<code>
<code>"http://mybatis.org/dtd/mybatis-3-mapper.dtd">/<code>

<code>appernamespace="org.apache.ibatis.submitted.rounding.Mapper">/<code>
<code><resultmap>type="org.apache.ibatis.submitted.rounding.User" id="usermap">/<resultmap>/<code>
<code>column="id" property="id"/> 
/<code>
<code><result>column="name" property="name"/>/<result>/<code>
<code><result>column="funkyNumber" property="funkyNumber"/>/<result>/<code>
<code><result>column="roundingMode" property="roundingMode"/>/<result>/<code>
<code>/<code>

<code><select>id="getUser" resultMap="usermap">/<select>/<code>
<code>select * from users/<code>
<code>/<code>
 
<code><insert>id="insert">/<insert>/<code>
<code>insert into users (id, name, funkyNumber, roundingMode) values (/<code>
<code>#{id}, #{name}, #{funkyNumber}, #{roundingMode}/<code>
<code>)/<code>
<code>/<code>

<code><resultmap>type="org.apache.ibatis.submitted.rounding.User" id="usermap2">/<resultmap>/<code>
<code>column="id" property="id"/>/<code>
<code><result>column="name" property="name"/>/<result>/<code> 
<code><result>column="funkyNumber" property="funkyNumber"/>/<result>/<code>
<code><result>column="roundingMode" property="roundingMode"/<result>/<code>
<code>typeHandler="org.apache.ibatis.type.EnumTypeHandler"/>/<code>
<code>/<code>
<code><select>id="getUser2" resultMap="usermap2">/<select>/<code>
<code>select * from users2/<code>
<code>/<code>
<code><insert>id="insert2">/<insert>/<code> 
<code>insert into users2 (id, name, funkyNumber, roundingMode) values (/<code>
<code>#{id}, #{name}, #{funkyNumber}, #{roundingMode, typeHandler=org.apache.ibatis.type.EnumTypeHandler}/<code>
<code>)/<code>
<code>/<code>

<code>apper>/<code>

相比之下，由于 <code>XML/<code>的存在，<code>MyBatis/<code>的语法有更多噪音。

简单应用

Hello World

其实和 <code>MyBatis/<code>不同，<code>sdmap/<code>设计之初就只考虑好好做一个小巧、精致、快速的模板引擎。因此<code>sdmap/<code>可以不依赖于任何数据库，只做字符串解析，最简单的代码是：

<code>// 安装NuGet包：sdmap/<code>
<code>varc =newSdmapCompiler;/<code>
<code>c.AddSourceCode("sql v1 {Hello World}");/<code>
<code>Console.WriteLine(c.Emit("v1", )); // Hello World/<code>

参数传入

当然有一些前端输入，这样就需要第二个参数：

<code>varc =newSdmapCompiler;/<code>
<code>c.AddSourceCode("sql v1 {Hello #prop<name>!}");/<name>/<code> 
<code>Console.WriteLine(c.Emit("v1", new{ Name = "Hero"}));// Hello Hero!/<code>

注意我使用了一个 <code>#prop<>/<code>的语法，这是<code>sdmap/<code>中调用指令的语句，表示将<code>Name/<code>属性按原样显示在此处。

参数判断

有些语句需要根据前端的不同而不同，比如典型的“动态 <code>SQL/<code>”问题，如果前端传了参数，则执行过滤，没有传则不过滤，这样的代码如下：

<code>varc =newSdmapCompiler;/<code>
<code>c.AddSourceCode(@"/<code>
<code>sql v1/<code>
 
<code>{/<code>
<code>SELECT * FROM [Customer]/<code>
<code>WHERE 1=1/<code>
<code>#isNotEmpty<location>/<code>
<code>}");/<code>
<code>Console.WriteLine(c.Emit("v1", new{ Id = 1, Location = "长沙"}));/<code>
<code>Console.WriteLine(c.Emit("v1", new{ Id = 2, Location = ""}));/<code>

输出结果如下：

<code>SELECT * FROM [Customer] /<code>
<code>WHERE 1=1 /<code>
<code>AND Location = '长沙'/<code> 

<code>SELECT * FROM [Customer] /<code>
<code>WHERE 1=1 /<code>

可见，关键的那个 <code>isNotEmpty<>/<code>控制了<code>Location/<code>判断的语句。

扩展：sdmap.ext

每次使用时，都需要实例化一个 <code>SdmapCompiler/<code>来加载<code>sdmap/<code>语句很麻烦，在项目中，这部分逻辑重用度非常高，因此我写了一个扩展：<code>sdmap.ext/<code>，定义了<code>ISdmapEmiter/<code>接口，该接口定义如下：

<code>publicinterfaceISdmapEmiter/<code>
<code>{/<code>
<code> 
stringEmit(stringstatementId,objectparameters);/<code>
<code>}/<code>

相当于最简单的生成器，然后我写了几个内置实现，可以直接从文件系统或者程序集嵌入的资源中读入这些文件：

<code>publicclassEmbeddedResourceSqlEmiter : ISdmapEmiter/<code>
<code>{ /<code>
<code>publicstaticEmbeddedResourceSqlEmiter CreateFrom(Assembly assembly);/<code>
<code>// ... 
/<code>
<code>}/<code>

<code>publicclassMultipleAssemblyEmbeddedResourceSqlEmiter : ISdmapEmiter/<code>
<code>{/<code>
<code>publicstaticMultipleAssemblyEmbeddedResourceSqlEmiter CreateFrom(paramsAssembly[] assemblies);/<code>
<code>// .../<code>
<code>}/<code>

<code>publicclassFileSystemSqlEmiter : ISdmapEmiter/<code>
 
<code>{/<code>
<code>publicstaticFileSystemSqlEmiter FromSqlDirectory(/<code>
<code>stringsqlDirectory,/<code>
<code>boolensureCompiled =false);/<code>

<code>publicstaticFileSystemSqlEmiter FromSqlDirectoryAndWatch(/<code>
<code>stringsqlDirectory,/<code>
<code>boolensureCompiled =false);/<code>
<code> 
// .../<code>
<code>}/<code>

那么有人会问，数据库参数化该如何实现呢？

扩展：sdmap.ext.Dapper

答案是 <code>Dapper/<code>，<code>sdmap/<code>访问数据库时，依赖<code>Dapper/<code>做参数化。其实很好理解，<code>sdmap/<code>只做数据库访问时的<code>SQL/<code>模板引擎前端，<code>Dapper/<code>做后端（当然不一定非要用<code>Dapper/<code>），<code>sdmap/<code>只负责生成<code>SQL/<code>语句。

但随着大家使用越来越多，我也注意到确实可以写一些东西，便于大家更好地配合 <code>Dapper/<code>一起使用。因此我写了另外两个扩展：<code>sdmap.ext/<code>和<code>sdmap.ext.Dapper/<code>。

其中 <code>sdmap.ext/<code>仍然和数据库无关，定义了一些<code>.sdmap/<code>文件的读取和自动加载逻辑；<code>sdmap.ext.D

如图，用过 <code>Dapper/<code>的朋友知道，<code>Dapper/<code>为<code>IDbConnection/<code>定义了一套扩展方法，这里我也为<code>IDbConnection/<code>定义了一套一样的扩展，只要最后加了<code>ByMap/<code>后缀，第二个参数都为<code>sqlMapName/<code>，与其传入原始的<code>SQL/<code>语句，此处将传入定义在<code>.sdmap/<code>文件中的配置，如原先使用<code>Dapper/<code>的朋友，代码可能这样写：

<code>vardata = _db.Query<customer>("SELECT * FROM [Customer] Where Id = @Id");/<customer>/<code>

换成 <code>sdmap/<code>后，代码应该是这样写：

<code>vardata = _db.QueryByMap<customer>("Customers.GetById");/<customer>/<code>

然后 <code>sdmap/<code>配置如下：

<code>namespaceCustomers/<code>
 
<code>{/<code>
<code>sql GetById/<code>
<code>{/<code>
<code>SELECT * FROM [Customer] WHERE Id = @Id/<code>
<code>}/<code>
<code>}/<code>

注意， <code>sdmap/<code>使用了<code>Dapper/<code>的参数化方式，只需在<code>SQL/<code>中写<code>@Id/<code>这样的语句，即可自动实现参数化，得出结果完全一样，并且<code>SQL/<code>不存在注入问题，代码中不包含<code>SQL/<code>语句，语句都写在配置文件中。

数组参数化

由于 <code>Dapper/<code>的存在，<code>sdmap/<code>相当于也自动支持了数组的参数化，只要像<code>Dapp

<code>namespaceCustomer/<code>
<code>{/<code>
<code>sql GetByIds/<code>
<code>{/<code>
<code>SELECT * FROM [Customer] WHERE Id IN @Ids/<code>
<code>}/<code>
<code>}/<code>

相关链接

<code>Github/<code>地址

https://github.com/sdcb/sdmap 我的 <code>Github/<code>首页还包含了使用<code>sdmap.ext.Dapper/<code>的一步一步使用教程，可以依照

文档地址

https://github.com/sdcb/sdmap/wiki

所有指令参考链接：

https://github.com/sdcb/sdmap/wiki/Common-macros

<code>NuGet/<code>包地址

• https://www.nuget.org/packages/sdmap

• https://www.nuget.org/packages/sdmap.ext

• https://www.nuget.org/packages/sdmap.ext.Dapper

<code>V

isualStudio插件/<code>地址

https://marketplace.visualstudio.com/items?itemName=sdmapvstool.sdmapvstool

<code>VS/<code>插件提供了<code>.sdmap/<code>文件代码高亮、自动定位、代码折叠的功能，可以不装，但不装就没这些体验。

总结

我写 <code>sdmap/<code>最初纯粹是因为想挑战自己，它包含了【编译器前端——<code>ANTLR/<code>】、【编译器后端——<code>CIL/<code>】、【<code>VisualStudio/<code>插件如何制作】、单元测试、文档等主题。

但后来随着这个项目的发展，越来越多的朋友用了起来。用过的都纷纷提出了自己的想法，然后做了许多润色，解决了不少局限性，但我从未做过推广——这是我第一次将这个项目用文字的形式发表出来。希望这个项目能给大家以管理大量 <code>SQL/<code>的启发。

閱讀更多 心萊科技 的文章

關鍵字: 过滤 Microsoft Visual