xmake 中的 winos.cmdargv

在阅读 SakuraEngine 的源码的时候,注意到了其构建文件中一段奇怪的代码。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
local argv2 = {sourcefile, "--output="..path.absolute(outdir), "--root="..rootdir or path.absolute(target:scriptdir()), "--"}
-- hack: insert a placeholder to avoid the case where (#argv < limit) and (#argv + #argv2 > limit)
if is_host("windows") then
local argv2l = 0
for _, v in pairs(argv2) do
argv2l = argv2l + #v
end
local _ = "-DFUCK_YOU_WINDOWS" .. string.rep("S", argv2l)
table.insert(argv, #argv + 1, _)
argv = winos.cmdargv(argv)
end
for k,v in pairs(argv2) do
table.insert(argv, k, v)
end

这一段代码出源码目录中的 xmake/modules/meta_codegen.lua,笔者在写下这篇文章时,官方文档中并没有关于 winos.cmdargv 函数的记录。

结合上下文,我没有搞明白 _ 在这里的作用,于是在不知情的情况下我让 Copilot 帮我分析了这一段代码,Copilot 把 winos.cmdargv 解释为 “用于将参数处理成 windows 接受的格式”,这使得我更加无法理解了。

所以,使用 xmake 遇到相同情况的时候一定要翻源码啊!

解决过程

简单说来,winos.cmdargv 的作用就是为了解决 windows 命令提示符 8192 个字符上限的问题,微软官方的解决方案是这样的:https://learn.microsoft.com/zh-cn/troubleshoot/windows-client/shell-experience/command-line-string-limitation

winos.cmdargv 的作用便是解决这个问题,它的定义在 xmake/core/base/winos.lua 中:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
-- get command arguments on windows to solve 8192 character command line length limit
function winos.cmdargv(argv, opt)

-- too long arguments?
local limit = 4096
local argn = 0
for _, arg in ipairs(argv) do
arg = tostring(arg)
argn = argn + #arg
if argn > limit then
break
end
end
if argn > limit then
opt = opt or {}
local argsfile = os.tmpfile(opt.tmpkey or os.args(argv)) .. ".args.txt"
local f = io.open(argsfile, 'w', {encoding = "ansi"})
if f then
-- we need to split args file to solve `fatal error LNK1170: line in command file contains 131071 or more characters`
-- @see https://github.com/xmake-io/xmake/issues/812
local idx = 1
while idx <= #argv do
arg = tostring(argv[idx])
arg1 = argv[idx + 1]
if arg1 then
arg1 = tostring(arg1)
end
-- we need to ensure `/name value` in same line,
-- otherwise cl.exe will prompt that the corresponding parameter value cannot be found
--
-- e.g.
--
-- /sourceDependencies xxxx.json
-- -Dxxx
-- foo.obj
--
if idx + 1 <= #argv and arg:find("^[-/]") and not arg1:find("^[-/]") then
f:write(os.args(arg, {escape = opt.escape}) .. " ")
f:write(os.args(arg1, {escape = opt.escape}) .. "\n")
idx = idx + 2
else
f:write(os.args(arg, {escape = opt.escape}) .. "\n")
idx = idx + 1
end
end
f:close()
end
argv = {"@" .. argsfile}
end
return argv
end

可以简单地看到,这个函数的逻辑就是检测命令参数的长度,超过阈值则创建一个临时文件把参数全部写进去,用 @ 的方式给程序调用,并且使用了分行的方法防止参数文件中的一行过场导致 LNK1170。

这样就可以理解 SakuraEngine 在那一段代码中 _ 的作用了,由于在 clang 的 libtooling 中,CommonOptionsParser 接受参数时以 “–” 为界限,前面传入编译选项,后面传入编译指令,作者在编译指令的后面塞了一段和编译选项一样长的一段参数,用于触发 cmdargv 把它处理成参数文件。


xmake 中的 winos.cmdargv
https://hszsoft.com/xmake-cmdargv/
作者
hsz
发布于
2024年3月19日
许可协议