使用genrule如何从makefile向bazel转变
使用genrule如何从makefile向bazel转变,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
成都创新互联是一家专业提供吴川企业网站建设,专注与做网站、成都网站设计、html5、小程序制作等业务。10年已为吴川众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。
0x01 背景
现有的makefile构建工程如何切换到bazel构建系统。
bazel提供了丰富的扩展方式,当然也支持从目前的makefile过渡到bazel构建。
再次说明下其特性:
多语言支持,并且支持扩展到任何语言的构建。
扩展DSL是starlyke语言,为Python的一个子集,容易上手。这一点是cmake和其他构建系统不具备的。支持缓存。
支持分布式构建。
支持最小化构建。
在一个大型系统中,一个人可能只需要负责其中的一个小组件,这个组件可能又依赖其他组件。当这个组件需要更新测试时,只希望去构建这个组件依赖的组件和这个组件本身,其他不相关的可以不构建,这样可以使用构建过程更快捷。bazel就支持这种方式。
0x02 makefile的问题
上文中说过makefile在处理小规模软件时还不错,当规模增大时,makefile有以下问题。
各个组件之间的依赖难以管理。 makefile只支持将所有的源码放在一个目录下,然后由顶层的。
这个依赖关系只能是有经验的人知道,新人想最小化编译时,只能试错,发现有依赖未构建时,再去手动构建。增量式构建难以控制。
这一点和第1点是相关的,因为依赖不能自动化构建,所以增量式构建也不具备。构建速度不足,难以做缓存。
makefile本身不支持缓存,需要额外的工作自行实现缓存。
0x03 需要解决的问题
虽然说bazel兼容makefile的构建,但也不是直接的支持。需要对bazel的扩展方式有一些了解。也有以下几个问题需要解决。
bazel的规则中需要定义输入输出
makefile中的输出一般不定义。比如如下的makefile中。这个makefile中就没有定义明确的输出。
all: gcc hello.c
或者是这样的。在makefile中规则中是去执行一个make.sh脚本。
install: bash -x make.sh
makefile一般需要在当前目录下执行
makefile中定义的输入和输出,都是基于当前的目录,而bazel是在顶层执行的,它的工作目录就是顶层的WORKSPACE所在的目录。这对makefile来说是不友好的。
针对这2个问题,通过查看bazel的issue和文档并没有发现好的解决方式。回答人基本上就推荐你去用对应语言的扩展,这对很多发有工程来说是不现实的。原因有:
对应语言的扩展不大可能无缝支持。
多半需要自己去修改构建的代码。比如我遇到的1个c语言的工程,使用cc_external_rule就行不通。额外的学习成本。
这个对应的语言的扩展也是需要时间去学习的,也是隐藏的成本。
所以,对bazel有兴趣的多语言构建项目,希望以这样的理想方式过渡。
现有的makefile工程可以无痛过渡。
新开发或者大规模重构的工程,可以直接上bazel。
通过总结,给出了以下的过渡方案,基本上可以满足再有的makefile工程。
0x04 过渡方案
方案要点:
使用bazel的沙盒环境变量,保留makefile的构建时的环境变量。
这些环境变量可能INSTALLROOT这种安装环境变量,也可能有LD_LIBRARY_PATH这种编译链接环境变量。使用genrule规则,可以快速切换到makefile所在的目录,执行make。
示例工程见gitee。https://gitee.com/ul1n/bazel-demo/tree/makefile 包含src和lib两个目录。各自有自己的makefile。其中src依赖lib。
方案中的第1点可以非常方便地通过bazel build时的选项--action_env传递。第2点实现有点曲折,不过并不复杂。这里详细说明下。
通过熟悉bazel文档我们知道genrule可以实现任何构建过程。这里我们希望如下的genrule。只定义基本的属性,其中cmd里可以cd到BUILD_PATH,BUILD_PATH可以自动变化,不同的子目录,就变化为所属的目录相对路径。同时可以生成一个伪目标,满足genrule的要求。
genrule( name="hello", srcs=["srcs"], cmd="cd $(BUILD_PATH) && make", outs=["test"] )
那么如何自动地控制BUILD_PATH的环境变量呢?bazel不支持直接传递环境变量给genrule的上下文,换说法就是cmd中的环境变量,需要提前声明好。通过查看官方的一些示例,可以这样来实现。
注:BUILD文件中涉及的bazel的语法可以参考官方文档进行熟悉。
定义一个def.bzl文件。这个bzl就是可以为引用它的BUILD文件中引入一个BUILD_PATH的环境变量。
def _var_providing_rule_impl(ctx): build_path = ctx.build_file_path loc, _ = build_path.rsplit('/', 2) return [platform_common.TemplateVariableInfo({"BUILD_PATH":loc}),] var_providing_rule = rule( implementation = _var_providing_rule_impl, attrs = { "var_value": attr.string() } )
然后在lib目录下添加一个BUILD文件。这份文件编写的非常通用,可以放在任何一个makefile目录下。除了有其他依赖需要在genrule的srcs属性中添加。
load("//:def.bzl", "var_providing_rule") var_providing_rule( name="set_build_path", var_value="" ) filegroup( name="srcs", srcs=glob(["**"]) ) genrule( name = "default", srcs=["srcs"], cmd="cd $(BUILD_PATH) && make && cd - && touch $(RULEDIR)/out.txt", visibility=["//visibility:public"], outs=["out.txt"], toolchains=[":set_build_path"] )
在src目录下添加如下的BUILD文件,与lib中的基本上一致,只是srcs中多了对lib中规则的依赖。
load("//:def.bzl", "var_providing_rule") var_providing_rule( name="set_build_path", var_value="" ) filegroup( name="srcs", srcs=glob(["**"]) ) genrule( name = "default", srcs=["srcs", "//lib:default"], cmd="cd $(BUILD_PATH) && make && cd - && touch $(RULEDIR)/out.txt", outs=["out.txt"], toolchains=[":set_build_path"] )
这里对cmd参数做一下说明。
1 切换到BUILD文件所在的目录。 2 执行make。这个也可以换成需要的命令,比如make install。 3 切换到上一个目录,也就是WORKSPACE文件所在的目录。 4 创建一个伪输出out.txt。RULEDIR是bazel约定的规则产出物的目录。是一个相对路径,这是为什么第3步中要切回目录的原因。 用&&连接是为了在失败时能立刻退出执行。
添加完成后,就可以通过如下的命令执行这个构建过程了。
bazel build --sandbox_writable_path=$INSTALLROOT --action_env=C_INCLUDE_PATH=$INSTALLROOT/include --action_env=INSTALLROOT=$INSTALLROOT //src:default
其中--sandbox_writable_path选项是为了开放权限,保证makefile中需要执行的目录创建操作。另外两个环境变量,则是为了保证原来的makefile可以成功构建。执行完成后,会在当前目录的tmp/bin/目录下生成app可执行文件。tmp/lib下生成动态链接库。这样一来,只要配置的环境变量合适,就可以完美执行原有的构建流程了。
0x05 总结
这种实现方式可能不是最好的,但目前来说是最直接的。当然也希望有知道更好方式的同学告知下。目前这种实现方式还有以下几个问题。
产出物是伪造的,对于bazel来说不是sound(可感知)的。无法缓存INSTALLROOT的产生物。
产生物不可感知,那么INSTALLROOT被删除的情况下,bazel的构建可能什么都不会做,因为它不知道INSTALLROOT的存在。
这2个问题作如下解答: 如果是需要缓存的大型模块,那么可以产生真正的产出物,同时复制一份到RULEDIR。但INSTALLROOT被删除这一块无法通过技术手段保证。
关于使用genrule如何从makefile向bazel转变问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。
网站标题:使用genrule如何从makefile向bazel转变
文章网址:http://pwwzsj.com/article/isjdpp.html