欢迎大家前往 云 + 社区 ,获取更多腾讯海量技术实践干货哦~
作者: 李想
无服务器云函数(SCF)是腾讯云提供的 Serverless 执行环境,也是国内首款 FaaS(Function as a Service,函数即服务) 产品.其核心理念是让用户将重心放在业务的逻辑实现上,而不用关心底层的运维包括服务器,存储,网络,自动扩缩容,负载均衡,代码部署等问题.
云函数既然以函数这两个字来命名,其应用场景也是跟函数是极为相似的,即对一段数据执行函数计算然后进行输出.腾讯云云函数提供了各类触发器来控制函数的执行条件,代码完全由事件触发,平台根据请求自动平行调整服务资源,所以 SCF 特别适合需要在某些情景下需要进行数据处理的场合.例如用户上传文件之后过滤是否有违规字段,或者用户上传视频文件之后进行转码等.
腾讯云的 SCF 底层也是基于容器进行构建,用户的代码会加载到容器内进行执行,所以效率和性能方面能够得到保证.同时使用 VPC 和 Unix Socket 来隔离用户环境与管理环境,保证了 SCF 使用的安全性.函数可自动在每个地域中随机地选择可用区来运行,免除单可用区运行的故障风险.根据事件请求数量,云函数将自动横向扩容 / 缩容,无需用户自行配置扩缩容条件,扩容数量理论上没有上限.
提到云函数 SCF 也顺便提一下腾讯云将要推出的另外一个产品 -- 批量计算.从本质上来讲批量计算和云函数都是将业务逻辑代码进行抽象而提供统一的入口供用户使用,但是两者在使用场景上也有一些区别.批量计算主要是为了处理大数据而设计的,其最关键的技术是可以对原始数据进行分片而将分片的数据分配到不同的节点进行处理,而云函数本身尽管可以并发执行,但是其处理的一般为流数据,数据量相对较小,耗时也相对较短.举个例子,如果我们需要对用户上传的文件进行实时处理,建议使用云函数 SCF,而如果需要将硬盘上现有的比如几个 T 的用户数据进行处理,建议使用批量计算进行分批处理.
我们就以一个真实的数据来把玩一下腾讯云无服务器云函数,让大家能更好的理解云函数.数据来源于美国 NCDC 的天气数据:ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/
里面记录了从 1900 年至今所有监控点每天的监控数据,我们以 2017 年的数据为例(ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/2017/),里面的每一个. gz 文件代表一个监控点全年的监控数据.
010010-99999-2017.gz 解压之后的文件内容如下:
NCDC 官方也给出了文件格式说明,1-13 位记录的是观测时间,14-19 位记录了观测的温度(以 10 倍的摄氏度进行记录).
2017 01 01 22 -48 -97 10205 340 60 -9999 -9999 -9999
2017 01 01 23 -47 -99 10202 346 55 -9999 -9999 -9999
2017 01 02 00 -49 -93 10190 330 90 6 -9999 4
2017 01 02 01 -47 -96 10190 346 72 -9999 -9999 -9999
2017 01 02 02 -50 -98 10189 320 40 -9999 -9999 -9999
2017 01 02 03 -47 -95 10185 328 30 -9999 -9999 -9999
2017 01 02 04 -52 -95 10176 320 20 -9999 -9999 -9999
2017 01 02 05 -62 -97 10163 310 20 -9999 -9999 -9999
2017 01 02 06 -57 -91 10150 260 20 8 -9999 -9999
2017 01 02 07 -46 -86 10141 230 30 -9999 -9999 -9999
2017 01 02 08 -37 -72 10131 206 45 -9999 -9999 -9999 .....
假设我们有这样一个需求:每当我们上传一个观测点的数据 gz 文件,我们需要统计出该观测点的最高温度,并且在输出中要同时记录该观测点的站点代码(从文件名获取).
Field 1: Pos 1-4, Length 4: Observation Year Year of observation,
rounded to nearest whole hourField 2: Pos 6-7, Length 2: Observation Month Month of observation,
rounded to nearest whole hourField 3: Pos 9-11, Length 2: Observation Day Day of observation,
rounded to nearest whole hourField 4: Pos 12-13, Length 2: Observation Hour Hour of observation,
rounded to nearest whole hourField 5: Pos 14-19, Length 6: Air Temperature The temperature of the
air UNITS: Degrees Celsius SCALING FACTOR: 10 MISSING VALUE: -9999Field
6: Pos 20-24, Length 6: Dew Point Temperature The temperature to
which a given parcel of air must be cooled at constant pressure and
water vapor content in order for saturation to occur. UNITS: Degrees
Celsius SCALING FACTOR: 10 MISSING VALUE: -9999
首先我们在腾讯云 COS 对象存储上新建两个 bucket,fredtest bucket 用来上传源数据文件,output bucket 用来生成输出文件.
存储桶列表
如果需要模拟批量上传,可以参考下面的 Python 脚本,其本质就是通过 FTP 拉取数据然后上传到 COS.
https://github.com/xianl/SCF/blob/master/download.py
下面来编写具体的实现函数,主要需要完成下面几件事情.
1. 上传文件后函数触发,获取上传文件的路径
2. 调用 COS SDK 下载该文件,保存到 / tmp 目录
3. 解压文件,读出数据内容
4. 处理数据,计算出温度最大值
5. 将监控点代号以及计算出来的温度最大值除以 10 保存到 / tmp 目录
6. 将最终结果上传到 COS output bucket.
核心部分的代码实现如下,完整代码可参考 https://github.com/xianl/SCF/blob/master/action.py .
需要了解的是,main_handler 的 event 参数将传入所上传文件的信息,其本质是一个 json 文件,例如 event'Records''cos''name'可以拿到 bucket 信息.
在 COS 的同一个区域建立 SCF 云函数,执行方法为 SCF 的函数入口,设置为 index.main_handler, 同时在代码框内贴入代码.
def action_handler(event, context):
#Create CosClient to upload/download COS file
appid = 1253142785 # change to user's appid
secret_id = u'xxx' # change to user's secret_id
secret_key = u'xxx' # change to user's secret_key
region = u'sh' # change to user's region
cos_client = CosClient(appid, secret_id, secret_key, region)
#specify the source and destination bucket location
source_bucket = event['Records'][0]['cos']['cosBucket']['name']
source_bucket_file_key = '/' + event['Records'][0]['cos']['cosObject']['key'].split('/')[-1]
source_file_name = source_bucket_file_key.split('/')[-1].split('.')[0]
dest_bucket = u'output'
dest_bucket_file_key = u'/max_temperature_'+ source_file_name
#specify the temp file location
source_file_tmp_path = u'/tmp/' + source_file_name
dest_file_temp_path = u'/tmp/max_temperature_' + source_file_name
#download the source file from cos bucket and take actions
download_ret = download_file(cos_client,source_bucket,source_bucket_file_key,source_file_tmp_path)
if download_ret == 0:
dest_file_temp = open(dest_file_temp_path, 'w')
max_temp = -999.9
#find the maximum temperature
with gzip.open(source_file_tmp_path) as inputfile:
for line in inputfile:
temp = int(line[14:19]) / 10.0
if temp > max_temp:
max_temp = temp
#write the result to the temp file and upload to the cos bucket
dest_file_temp.write(source_file_name + ' ' + str(max_temp))
dest_file_temp.close()
upload_ret = upload_file(cos_client, dest_bucket, dest_bucket_file_key, dest_file_temp_path)
return upload_ret
else:
return -1
无服务器函数代码
第三步需要选择触发方式为 COS 触发,并选择 COS bucket 为 fredtest.
设置触发方式
在 fredtest bucket 上传 010010-99999-2017.gz 文件之后,查看 SCF 的日志可以看到函数被正常触发了.
无服务器函数日志
output bucket 同时会按照代码逻辑生成 max_temperature_010010-99999-2017 文件
输出文件
文件内容为站点代码以及最后计算出的最大温度 14.3℃,满足预期需求.至此,一个简单的 SCF 实际数据应用场景的 demo 就跑完了.
计算结果
总结
可以看到腾讯云 SCF 非常适用这种单入单出的数据处理场景,业务人员只需编写代码并在界面上进行简单的配置即可实现业务逻辑,而其所需接触的对象仅仅是例如对象存储,Message Queue,数据库等应用层对象而完全不需关心服务器,网络等基础资源,简化了很大一部分人为操作.如果能够再结合 API Gateway 等产品,也能够做到各个系统的业务解耦以及迭代开发.
另外,至于前文提到的批量计算,目前腾讯云还处于内测阶段,等公测之后我还会写一篇文章利用 2017 年的上万各监测点的数据使用批量计算来计算出 2017 年整年的最高温度,尽请期待.
来源: https://www.cnblogs.com/qcloud1001/p/8268678.html