1. 程式人生 > >AWS Lambda 藉助 Serverless Framework,迅速起飛

AWS Lambda 藉助 Serverless Framework,迅速起飛

## 前言 微服務架構有別於傳統的單體式應用方案,我們可將單體應用拆分成多個核心功能。每個功能都被稱為一項服務,可以單獨構建和部署,這意味著各項服務在工作時不會互相影響 這種設計理念被進一步應用,就變成了無服務(Serverless)。「無服務」看似挺荒唐的,其實伺服器依舊存在,只是我們不需要關注或預置伺服器。這讓開發人員的精力更集中——只關注功能實現 Serverless 的典型便是 AWS Lambda ## AWS Lambda 如果你是 Java 開發人員,你應該聽說過或使用過 JDK 1.8 裡面的 Lambda,但是 AWS 中的 Lambda 和 JDK 中的 Lambda **沒有任何關係** ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094553956-464333476.png) 這裡的 AWS Lambda 就是一種計算服務,無需預置或管理伺服器即可執行程式碼,藉助 Lambda,我們幾乎可以為任何型別的應用程式或後端服務執行程式碼,而且完全無需管理,我們要做的只是上傳相應的程式碼,Lambda 會處理執行和擴充套件 HA 程式碼所需的一切工作 說的直白一點 > Lambda 就好比實現某一個功能的方法 (現實中,通常會讓 Lambda 功能儘可能單一),我們將這個方法做成了一個服務供呼叫 到這裡你可能會有個困惑,Lambda 既然就是一個「方法」,那誰來呼叫?或怎麼來呼叫呢? ### 如何呼叫 Lambda 為了回答上面這個問題,我們需要登陸到 AWS,開啟 Lambda 服務,然後建立一個 Lambda Function (hello-lambda) ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094554846-1744327213.png) Lambda 既然是個方法,就要選擇相應的 Runtime 環境,如下圖所示,總有一款適合你的(最近在用 Node.js, 這裡就用這個吧) ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094555785-1633487305.png) 點選右下角的 Create function 按鈕進入配置頁面 ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094557129-83382636.png) 在上圖紅色框線的位置就可以配置出發 Lambda 的觸發器了,點選 Add trigger ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094557788-1574945232.png) 從上圖可以看出,AWS 內建的很多服務都可以觸發 Lambda,我在工作中常用的有: - API Gateway (一會的 demo 會用到,也是最常見的呼叫方式) - ALB - Application Loac Balancer - CloudFront - DynamoDB - S3 - SNS - Simple Notification Service - SQS - Simple Queue Service 上面只是 AWS 內建的一些服務,向下滑動,你會發現,你也可以配置很多**非 AWS** 的事件源 ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094559740-1348916358.png) 到這裡,上面的問題你應該已經有了答案了。這裡暫時先無需任何 trigger,先點選右上角的 **Test** 測試一下 Lambda ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094602061-1876296704.png) 一個簡單的 Lambda Function 就實現了,紅色框線的 response 只是告訴大家,每個請求都會有相應的 Request ID,更有 START/END 標識快速定位 Log 內容 (可以通過 CloudWatch 檢視,這裡暫不展開說明) 你也可能已經開始發散你的思維了,如何運用 AWS Lambda,其實在 AWS 官網有很多樣例: ### 經典案例 比如為了適應多平臺圖片展示,一張原始圖片上傳到 S3 後,會通過 Lambda resize 適應不同平臺大小的圖片 ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094602632-330978559.png) 比如使用 AWS Lambda 和 Amazon API Gateway 構建後端,以驗證和處理 API 請求,當某一個使用者釋出一條動態,訂閱使用者將收到相應的通知 ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094602965-73899071.png) 接下來我們就用 Lambda 實現經典的分散式訂單服務案例 ## 訂單服務 Demo 為了增強使用者使用體驗,或者為了提升程式吞吐量,亦或是為了架構設計程式解耦,考慮到以上這些情況,我們通常都會藉助訊息中介軟體來完成 假設有一常見場景,使用者下訂單時如果選擇開具發票,則需要呼叫發票服務,很顯然呼叫發票服務**不是程式執行的關鍵路徑**,這種場景,我們就可以通過訊息中介軟體來解耦。這裡有兩個服務: 1. 訂單服務 2. 發票服務 如果用 Lambda 來實現兩個服務,整體設計思想就是這樣滴: ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094603580-652594783.png) 現實中,我們不可能在 AWS console 通過點選按鈕來建立各個服務的,在 AWS 實際開發中, 我們通過寫 CloudFormation Template (以下會簡稱 CFT,其實就是一種 YAML 或者 JSON 格式的定義)來建立相關 AWS 服務,如果上述這個 Demo,從圖中可以看出,我們要建立的服務還是非常多的: - Lambda * 2 - API Gateway - SQS 如果寫 AWS 原生的 CFT,要實現的內容還是挺多的 但是...... 懶惰的程式設計師總是能帶來很多驚喜 ## Serverless Framework 寫 JDBC 麻煩,就有了各種持久層框架的出現,同樣寫 AWS 原生 CFT 麻煩,就有了 Serverless Framework (以下會簡稱 SF)的出現幫助我們定義相關 Serverless 元件 (順便問一下,GraphQL 你們有在用嗎?) ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094604343-1985276879.png) SF 不但簡化了 AWS 原生 CFT 的編寫,還簡化了跨雲服務的定義,就好比設計模式當中的 Facade,在上面建立了一層門面,隱藏了底部不同服務的細節,降低了跨雲並用雲的門檻,目前支援的雲服務有下面這些 ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094604832-1539107501.png) 這裡暫時不會對 SF 展開深入的說明,在我們的 demo 中只不過是要應用 SF 來定義 ### 安裝 Serverless Framework 如果你有安裝 Node,那隻需要一條 npm 命令全域性安裝即可: ```shell npm update -g serverless ``` 安裝過後檢查一下安裝版本是否成功 ```shell sls -version ``` ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094605332-399370045.png) ### 配置 Serverless Framework 由於要使用 AWS 的 Lambda,所以要對 SF 做基本的配置,至少要讓 SF 有許可權建立 AWS 服務,當你建立一個 AWS 使用者時,你可以獲取 AK 「access_key_id」和 SK 「secret_access_key」(**不是 SKII 哦**),其實就是一種使用者名稱和密碼形式 然後通過下面一條命令新增配置就可以了: ```bash serverless config credentials --provider aws --key 1234 --secret 5678 --profile custom-profile ``` - --provider 雲服務商 - --key 你的AK - --secret 你的SK - --profile 如果你有多個賬戶時,你可以新增這個 profile 做快速區分 執行上述命令後,就會在 ~/.aws/目錄建立一個名為 credentials 的檔案儲存上述配置,就像這樣: ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094605629-150352923.png) 到這裡準備工作就都完成了,開始寫我們的定義就好了 ### 建立 Serverless 應用 通過下面一條命令建立 serverless 應用 ```shell sls create --template aws-nodejs --path ./demo --name lambda-sqs-lambda ``` - --template 指定建立的模版 - --path 指定建立的目錄 - --name 指定建立的服務名稱 執行上述命令後,進入 demo 目錄就是下面這個結構和內容了 ```shell ➜ demo tree . ├── handler.js └── serverless.yml 0 directories, 2 files ``` 因為我們是用 Node.js 來編寫 Serverless 應用,同樣在 demo 目錄下執行下面命令來初始化該目錄,因為我們後面要用到兩個 npm package ```shell npm init -y ``` 現在的結構是這樣的(其實就多了一個 package.json): ```shell ➜ demo tree . ├── handler.js ├── package.json └── serverless.yml 0 directories, 3 files ``` 至此,準備工作都已就緒,接下來就在 serverless.yml 中寫相應的定義就可以了 (門檻很低:按照相應的 key 寫 YAML 即可,是不是很簡單?),開啟 serverless.yml 檔案來看一下,瞬間懵逼? ```yml # Welcome to Serverless! # # This file is the main config file for your service. # It's very minimal at this point and uses default values. # You can always add more config options for more control. # We've included some commented out config examples here. # Just uncomment any of them to get that config option. # # For full config options, check the docs: # docs.serverless.com # # Happy Coding! service: lambda-sqs-lambda # app and org for use with dashboard.serverless.com #app: your-app-name #org: your-org-name # You can pin your service to only deploy with a specific Serverless version # Check out our docs for more details # frameworkVersion: "=X.X.X" provider: name: aws runtime: nodejs12.x # you can overwrite defaults here # stage: dev # region: us-east-1 # you can add statements to the Lambda function's IAM Role here # iamRoleStatements: # - Effect: "Allow" # Action: # - "s3:ListBucket" # Resource: { "Fn::Join" : ["", ["arn:aws:s3:::", { "Ref" : "ServerlessDeploymentBucket" } ] ] } # - Effect: "Allow" # Action: # - "s3:PutObject" # Resource: # Fn::Join: # - "" # - - "arn:aws:s3:::" # - "Ref" : "ServerlessDeploymentBucket" # - "/*" # you can define service wide environment variables here # environment: # variable1: value1 # you can add packaging information here #package: # include: # - include-me.js # - include-me-dir/** # exclude: # - exclude-me.js # - exclude-me-dir/** functions: hello: handler: handler.hello # The following are a few example events you can configure # NOTE: Please make sure to change your handler code to work with those events # Check the event documentation for details # events: # - http: # path: users/create # method: get # - websocket: $connect # - s3: ${env:BUCKET} # - schedule: rate(10 minutes) # - sns: greeter-topic # - stream: arn:aws:dynamodb:region:XXXXXX:table/foo/stream/1970-01-01T00:00:00.000 # - alexaSkill: amzn1.ask.skill.xx-xx-xx-xx # - alexaSmartHome: amzn1.ask.skill.xx-xx-xx-xx # - iot: # sql: "SELECT * FROM 'some_topic'" # - cloudwatchEvent: # event: # source: # - "aws.ec2" # detail-type: # - "EC2 Instance State-change Notification" # detail: # state: # - pending # - cloudwatchLog: '/aws/lambda/hello' # - cognitoUserPool: # pool: MyUserPool # trigger: PreSignUp # - alb: # listenerArn: arn:aws:elasticloadbalancing:us-east-1:XXXXXX:listener/app/my-load-balancer/50dc6c495c0c9188/ # priority: 1 # conditions: # host: example.com # path: /hello # Define function environment variables here # environment: # variable2: value2 # you can add CloudFormation resource templates here #resources: # Resources: # NewResource: # Type: AWS::S3::Bucket # Properties: # BucketName: my-new-bucket # Outputs: # NewOutput: # Description: "Description for the output" # Value: "Some output value" ``` 乍一看,你可能覺得眼花繚亂,其實這是一個相對完整的 Lambda 配置全集,我們不需要這麼詳細的內容,不過這個檔案作為我們的參考 接下來我們就定義 demo 所需要的一切 (關鍵註釋已經寫在程式碼中) ```yaml service: name: lambda-sqs-lambda # 定義服務的名稱 provider: name: aws # 雲服務商為 aws runtime: nodejs12.x # 執行時 node 的版本 region: ap-northeast-1 # 釋出到 northeast region,其實就是東京 region stage: dev # 釋出環境為 dev iamRoleStatements: # 建立 IAM role,允許 lambda function 向佇列傳送訊息 - Effect: Allow Action: - sqs:SendMessage Resource: - Fn::GetAtt: [ receiverQueue, Arn ] functions: # 定義兩個 lambda functions order: handler: app/order.checkout # 第一個 lambda function 程式入口是 app 目錄下的 order.js 裡面的 checkout 方法 events: # trigger 觸發器是 API Gateway 的方式,當接收到 /order 的 POST 請求時觸發該 lambda function - http: method: post path: order invoice: handler: app/invoice.generate # 第二個 lambda function 程式入口是 app 目錄下的 invoice.js 裡面的 generate 方法 timeout: 30 events: # trigger 觸發器是 SQS 服務,訊息佇列有訊息時觸發該 lambda function 消費訊息 - sqs: arn: Fn::GetAtt: - receiverQueue - Arn resources: Resources: receiverQueue: # 定義 SQS 服務,也是 Lambda 需要依賴的服務 Type: AWS::SQS::Queue Properties: QueueName: ${self:custom.conf.queueName} # package: # exclude: # - node_modules/** custom: conf: ${file(conf/config.json)} # 引入外部定義的配置變數 ``` config.json 內容僅僅定義了 queue 的名稱,只是為了說明配置的靈活性 ```json { "queueName": "receiverQueue" } ``` 因為我們要模擬訂單的生成,這裡用 UUID 來模擬訂單號, 因為我們要呼叫 AWS 服務API,所以要使用 aws-sdk, 所以要安裝這兩個 package (這兩個理由夠充分嗎?) ```json { "name": "lambda-sqs-lambda", "version": "1.0.0", "description": "demo for lambda", "scripts": { "test": "echo \"Error: no test specified\" && exit 1" }, "license": "MIT", "dependencies": { "uuid": "^8.1.0" }, "devDependencies": { "aws-sdk": "^2.6.15" } } ``` 接下來,我們就可以編寫兩個 Lambda function 的程式碼邏輯了 ### Order Lambda Function 訂單服務很簡單,接收一個下單請求,下單成功後快速返回給使用者,同時將訂單下單成功的訊息傳送到 SQS 中,供下游發票服務開具發票使用 ```javascript 'use strict'; const config = require('../conf/config.json') const AWS = require('aws-sdk'); const sqs = new AWS.SQS(); const { v4: uuidv4 } = require('uuid'); module.exports.checkout = async (event, context, callback) => { console.log(event) let statusCode = 200 let message if (!event.body) { return { statusCode: 400, body: JSON.stringify({ message: 'No order body was found', }), }; } const region = context.invokedFunctionArn.split(':')[3] const accountId = context.invokedFunctionArn.split(':')[4] const queueName = config['queueName'] // 組裝 SQS 服務的 URL const queueUrl = `https://sqs.${region}.amazonaws.com/${accountId}/${queueName}` const orderId = uuidv4() try { // 呼叫 SQS 服務 await sqs.sendMessage({ QueueUrl: queueUrl, MessageBody: event.body, MessageAttributes: { orderId: { StringValue: orderId, DataType: 'String', }, }, }).promise(); message = 'Order message is placed in the Queue!'; } catch (error) { console.log(error); message = error; statusCode = 500; } // 快速返回訂單 ID return { statusCode, body: JSON.stringify({ message, orderId, }), }; }; ``` ### Invoice Lambda Function 發票服務邏輯同樣很簡單,消費 SQS 指定佇列中的訊息,並將開具出的發票傳送到客戶訂單資訊的 email 中 ```javascript module.exports.generate = (event, context, callback) => { console.log(event) try { for (const record of event.Records) { const messageAttributes = record.messageAttributes; console.log('OrderId is --> ', messageAttributes.orderId.stringValue); console.log('Message Body --> ', record.body); const reqBody = JSON.parse(record.body) // 睡眠 20 秒,模擬生成發票的耗時過程 setTimeout( () => { console.log("Receipt is generated and sent to :" + reqBody.email) }, 20000) } } catch (error) { console.log(error); } } ``` 到此 demo 的程式碼就全部實現了,從中你可以看到: > 我們沒有關注 lambda 的底層服務細節,沒有關注 sqs 的服務,只是簡單的程式碼邏輯實現以及服務之間的串聯定義 最後我們看一下整體的目錄結構吧: ```shell . ├── app │   ├── invoice.js │   └── order.js ├── conf │   └── config.json ├── package.json └── serverless.yml 2 directories, 5 files ``` ## 釋出 Lambda 應用 在釋出之前,編譯一下應用,安裝必須的 package「uuid 和 aws-sdk」 ```shell npm install ``` 釋出應用非常簡單,只需要一條命令: ```shell sls deploy -v ``` 執行上述命令後大概需要等帶幾十秒鐘, 在構建的最後,會打印出我們的構建服務資訊: ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094606141-1841429159.png) 上圖的 endpoints 就是我們一會要訪問的 API gateway 觸發 lambda 的入口,在呼叫之前,我們先到 AWS console 看一下我們定義的服務 ### lambda functions ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094606614-231993658.png) ### SQS-receverQueue ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094607183-122119206.png) ### API Gateway ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094607633-955671289.png) ### S3 從上圖的構建資訊中你應該還看到一個 S3 bucket 的名稱,我們並沒有建立 S3, 這是 SF 自動幫我們建立,用來儲存 lambda zip package 的 ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094608521-2045236243.png) ### 測試 呼叫 API gateway 的 endpoint 來測試 lambda ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094608918-201355488.png) 開啟 SQS 服務,你會發現,接收到一條訊息: ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094609420-229884656.png) 接下來我們看看 Invoice Lambda function 的消費情況,開啟 CloudWatch 檢視 log: ![](https://img2020.cnblogs.com/other/1583165/202010/1583165-20201028094610047-603713442.png) 從 log 中可以看出程式“耗費” 20 秒後列印了向客戶郵件的 log(郵件也可以藉助 AWS SES 郵件服務來實現) 至此,一個完整的 demo 就完成了,實際編寫的程式碼並沒有多少,就搞定了這麼緊密的串聯 ### 刪除服務 Lambda 是按照呼叫次數進行收取費用的,為了防止造成額外的開銷,demo 結束後通常都會將服務銷燬,使用 SF 銷燬剛剛建立的服務也非常簡單,只需要在 serverless.yml 檔案目錄執行這條命令: ```shell sls remove ``` ## 總結與感受 AWS Lambda 是 Serverless 的典型,藉助 Lambda 可以實現更小粒度的“服務”,無需服務搭建也加快了開發速度。Lambda 同樣可以結合 AWS 很多其服務,接收請求,將計算結果傳遞給下游服務等。另外很多第三方合作伙伴也在加入 Lambda 的 trigger 大部隊,給 Lambda 更多觸發可能,同時,藉助 CI/CD,可以快速實現功能閉環 開通 AWS free tier,足夠你玩轉 Lambda : https://dayarch.top/p/aws-lambda-with-serverless-framework.html [個人部落格:https://dayarch.top](https://dayarch.top) [加我微信好友](https://mp.weixin.qq.com/s/G7BXuZh0Qh1-mE6ts4LJqQ), 進群娛樂學習交流,備註「進群」 > ### 歡迎持續關注公眾號:「日拱一兵」 > - 前沿 Java 技術乾貨分享 > - 高效工具彙總 | 回覆「工具」 > - 面試問題分析與解答 > - 技術資料領取 | 回覆「資料」 > 以讀偵探小說思維輕鬆趣味學習 Java 技術棧相關知識,本著將複雜問題簡單化,抽象問題具體化和圖形化原則逐步分解技術問題,技術持續更新,請持續關注...... --- ![](https://cdn.jsdelivr.net/gh/FraserYu/img-host/blog-im