Serverless 多環境配置方案探索

相信讀完前面幾篇有關 Serverless Component 文章的小夥伴已經體驗到,它給我們開發帶來的遍歷。但是實際我們的日常開發項目中,並不僅僅只是單純地一個項目部署那麼簡單,我們的敏捷開發流程中,還有開發、聯調、測試、預發佈、正式環境等關鍵詞。那麼有小夥伴就有疑惑了,我的業務開發完了,如何管理不同環境的配置呢?比如測試環境的數據庫配置和正式環境的如何切換?於是拋轉引入,寫了此篇文章,來跟大家一起學習和探討。

讀完本篇將你將瞭解到:

  1. Serverless Component 部署原理
  2. dotenv 模塊的基本使用
  3. 如何基於 dotenv 來切換多環境配置
  4. 如何在 serverless.yml 提煉通用配置

Serverless Component

理論指導實踐

在介紹方法之前,這裡需要先對 Serverless Component 部署原理做個簡單介紹。當我們在 serverless.yml 文件中配置好項目,執行 sls --debug 命令後,究竟發生了什麼?

核心步驟如下:

<code>1. 初始化 context:包括分析component依賴樹,通過 dotenv 注入環境變量等。
2. 安裝依賴組件模塊:不同於 `npm install`, serverless component 會將 `component` 指定的 npm 模塊下載並解壓放到 `~/.serverless/components/registry/npm/@serverless/[email protected]` 中。
3. 執行組件模塊的 `default` 函數:這個 default 函數就是開發者提供的部署邏輯代碼,比如將打包壓縮好的代碼上傳到cos,然後部署到scf。/<code>

本篇只需要關心第一步的環境變量注入就好。

可以發現,Serverless Framework 部署命令默認會幫我們注入 .env 文件中的環境變量到部署流程中,這也是為什麼我們在使用騰訊雲的組件時,需要創建一個內容如下的 .env 文件:

<code>TENCENT_SECRET_ID=xxx
TENCENT_SECRET_KEY=xxx/<code>

注意:當然騰訊雲的組件都是支持掃碼一鍵登錄的,如果你不想配置 .env 文件。是不是很炫酷 ~

基於此,我們就可以利用 .env 文件做很多事了。 比如在 serverless.yml 中可以通過 ${env.xxx} 方式來獲取注入的環境變量。

dotenv 模塊

Dotenv 是一個能夠通過 .env 文件將環境變量注入到 process.env 的模塊。

具體使用很簡單,先安裝 npm install dotenv --save,然後在你的項目入口文件中引入即可:

<code>require("dotenv").config();
/<code>

管理多環境配置

說了這麼多,終於到了本篇的正題。這裡以 tencent-koa 組件為例,我們先初始化我們的項目:

<code># 此命令會將指定包含 `serverless.yml` 的 github 目錄作為項目模板,拷貝到本地
$ serverless create --template-url https://github.com/yugasun/tencent-serverless-demo/tree/master/serverless-env

# 安裝依賴
$ cd severless-env && npm install/<code>

然後新建兩個配置文件,分別為:

<code># .env.test 文件內容
USER_NAME=yugasun_test
[email protected]

# .env.release 文件內容
USER_NAME=yugasun_release
[email protected]/<code>

然後新建入口文件 app.js:

<code>const dotenv = require("dotenv");
const Koa = require("koa");
const KoaRouter = require("koa-router");

const { CODE_ENV } = process.env;
dotenv.config({
path: `${__dirname}/.env.${CODE_ENV}`
});

const app = new Koa();
const router = new KoaRouter();

router.get("/", async ctx => {
ctx.body = {
name: process.env.USER_NAME,
email: process.env.USER_EMAIL
};
});

app.use(router.allowedMethods()).use(router.routes());

// don't forget to export!
module.exports = app;
/<code>

這是一個簡單的 demo,通過雲函數注入的環境變量 CODE_ENV,來讀取不同的 .env.xxx 配置,從而實現不同環境的配置切換,核心代碼就是:

<code>const { CODE_ENV } = process.env;
dotenv.config({
path: `${__dirname}/.env.${CODE_ENV}`
});
/<code>

備註:這裡 dotenv 的 config 函數是可以指定 path 為目標 .env 文件路徑。

所以只需要給雲函數配置一個環境變量 CODE_ENV 就可以了,接下來我們來編寫 serverless.yml 文件:

<code># 當前運行環境
CODE_ENV: test

MyExpress:
component: "@serverless/tencent-koa"
inputs:
region: ap-guangzhou
functionName: express-function
code: ./
functionConf:
timeout: 10
memorySize: 128
environment:
variables:
CODE_ENV: ${CODE_ENV}
apigatewayConf:
protocols:
- http
- https
environment: ${CODE_ENV}/<code>

相信大家都知道可以通過 functionConf.environment.variables 來配置環境變量。 這裡不僅配置了雲函數的環境變量,同時也配置了 apigatewayConf.environment,以此來區分 API 網關的測試和發佈環境。

小技巧:可以在 yml 文件的頂端定義公共變量 CODE_ENV,然後通過 ${CODE_ENV} 的方式引用變量。

然後執行部署命令 sls --debug,部署成功後訪問創建成功的 url 鏈接,就可以看到配置的環境變量結果了:

<code>{
"name": "yugasun_test",
"email": "[email protected]"
}/<code>

當我們開發完,需要部署到發佈環境,只需要修改 serverless.yml 中的 CODE_ENV 值為 release,然後重新部署就行。

配置優化 1

細心的小夥伴會發現:部署成功的雲函數,雖然可以成功地讀取不同環境配置,但是每次部署都會將 .env.test 和 .env.release 兩份配置文件同時上傳。有時我們並不想暴露生產環境的配置在測試環境,因此需要每次部署時,只上傳對應配置文件。要做到這一點,只需要在 serverless.yml 配置文件中新增 exclude 和 incldue 配置:

<code>CODE_ENV: release

MyExpress:
component: "@serverless/tencent-koa"
inputs:
region: ap-guangzhou
functionName: express-function
code: ./
exclude:
- .env.release
- .env.test
include:
- .env.${CODE_ENV}
functionConf:
timeout: 10
memorySize: 128
environment:
variables:
CODE_ENV: ${CODE_ENV}
apigatewayConf:
protocols:
- http
- https
environment: ${CODE_ENV}/<code>

這裡先通過 exclude 配置忽略所有配置文件,然後通過 include 來包含指定的配置文件。之所以這麼做,是因為我們指定了 code 字段為 ./ - 項目根目錄 ,因此會默認上傳項目根目錄的所有文件。

配置優化 2

當然也可以將 serverless.yml 中的任何固定參數寫到 .env 文件中,比如這裡的 CODE_ENV 變量,然後通過 ${env.CODE_ENV} 引用即可。比如我們將 CODE_ENV 寫入到 .env 中:

<code>CODE_ENV=release/<code>

然後修改 serverless.yml 配置:

<code>MyExpress:
component: "@serverless/tencent-koa"
inputs:
region: ap-guangzhou
functionName: express-function
code: ./
exclude:
- .env.release
- .env.test
include:
- .env.${env.CODE_ENV}
functionConf:
timeout: 10
memorySize: 128
environment:
variables:
CODE_ENV: ${env.CODE_ENV}
apigatewayConf:
protocols:
- http
- https
environment: ${env.CODE_ENV}/<code>

需要說明的是 .env 文件有個缺點,就是無法定義對象和數組。但是對於私密的配置,還是放到 .env 中比較合適,這樣就可以基於文件去忽略部署。

配置優化 3

當需要將同一份業務代碼部署到不同的地區,但是函數參數配置和 API 網關配置都是一致時,如何配置呢?這裡一樣可以提煉出通用配置,如下:

<code># global config
CODE_ENV: release

# function config
FUNC_CONF:
name: express-function
memorySize: 128
timeout: 10
environment:
variables:
CODE_ENV: ${CODE_ENV}

# apigw config
API_CONF:
protocols:
- http
- https
environment: ${CODE_ENV}

# guangzhou service
MyExpressGZ:
component: "@serverless/tencent-koa"
inputs:
region: ap-guangzhou
functionName: ${FUNC_CONF.name}
code: ./
exclude:
- .env.release
- .env.test
include:
- .env.${CODE_ENV}
functionConf: ${FUNC_CONF}
apigatewayConf: ${API_CONF}

# beijing service
MyExpressBJ:
component: "@serverless/tencent-koa"
inputs:
region: ap-beijing
functionName: ${FUNC_CONF.name}
code: ./
exclude:
- .env.release
- .env.test
include:
- .env.${CODE_ENV}
functionConf: ${FUNC_CONF}
apigatewayConf: ${API_CONF}/<code>

如何選擇配置方案

本文介紹了兩種方案:

  1. 通過 .env 配置
  2. 通過在 serverless.yml 中定義變量

他們都可以定義全局變量,那麼在實際開發中如何去抉擇使用呢?

注意:serverless.yml 定義的變量,或者 .env 中自動注入的變量,只有在執行 sls --debug 命令後,才能夠獲取到。實際部署成功的代碼,是需要通過 dotenv 模塊來指定 .env 文件來手動加載注入的。當然如果你也可以通過解析 serverless.yml 文件來獲取需要的變量也是可以的。

通常我會將跟 執行部署時的配置 放到 serverless.yml 中,將 業務相關的配置 放到 .env 文件中。當然,這裡只是個人建議,具體如何去配置還是要看個人使用習慣。

其他語言

雖然本文只是講述瞭如何在 Nodejs 項目中管理多環境配置,但是其他語言基本都實現了 dotenv 模塊,所以此方法是通用的,比如 Python 的 python-dotenv 模塊,使用起來基本差不多:

<code># settings.py
from dotenv import load_dotenv

from pathlib import Path # python3 only
env_path = Path('.') / '.env.test'
load_dotenv(dotenv_path=env_path)/<code>

源碼

本篇涉及到所有源碼都維護在開源項目 tencent-serverless-demo 中 serverless-env

總結

本篇涉及到所有源碼都維護在開源項目 tencent-serverless-demo 中 serverless-env

全文到這裡就結束了,當然這只是本人在日常開發中總結的經驗而已,如果你有更好的實踐方式,歡迎一起為 Serverless 開源社區做貢獻。


分享到:


相關文章: