.NET C# 获取桌面UI元素总结

2021 年 08 月 02 日

1112次浏览

暂无评论

3456字数

技术

结论

前几篇文章在这里：

经过几天的研究初步获得了如下的结论：

Win32API不靠谱
和Snipaste开发大佬交流后得知的MSAA方法有局限，对于Text属性可能不能读取（这个功能对我来说至关重要，替代品为UIAutomation）

先说测试后的结论：

竟然是System.Windows.Automation最高效
手写的剪枝DFS比微软封装的方法高效
如果测试的时候用户在操作其他UI或有UI变化会导致速度变慢
多线程优化几乎没有效果

猜测：

瓶颈就是这个需求本身
速度取决于Server端，和如何实现无关

测试

测试范围：

System.Windows.Automation
- 手写带有剪枝的DFS
- 线程池优化的剪枝DFS
- 使用Walker写DFS
- 直接使用FindAll(TreeScope.Descendants)
UIAutomationClient (COM)
- 手写带有剪枝的DFS
- 线程池优化的剪枝DFS
- 使用Walker写DFS
- 直接使用FindAll(TreeScope.Descendants)

测试代码：


// IUIAutomation
IUIAutomationElement element = GIUIAutomationManager.GetWindowByProcessID(15204);
{
    StreamWriter file = new StreamWriter("iui.out", append: true);
    for (int j = 0; j < 100; j++)
    {
        DateTime ts_start = DateTime.UtcNow;
        List<IUIAutomationElement> res = GIUIAutomationManager.GetLeafElementsDFS(element);
        DateTime ts_end = DateTime.UtcNow;
        Debug.WriteLine("iui, epoch: " + (j + 1));
        Debug.WriteLine((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
        await file.WriteLineAsync((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
    }
}
for (int i = 1; i <= 24; i ++)
{
    StreamWriter file = new StreamWriter("iui_multi_" + i + ".out", append: true);
    GThreadPool<ThreadStart> threadPool = new GThreadPool<ThreadStart>(i, new Action<ThreadStart>((threadStart) =>
    {
        threadStart.Invoke();
    }));
    for (int j = 0; j < 100; j++)
    {
        DateTime ts_start = DateTime.UtcNow;
        ConcurrentQueue<IUIAutomationElement> res = GIUIAutomationManager.GetLeafElementsByParallel(element, threadPool);
        DateTime ts_end = DateTime.UtcNow;
        Debug.WriteLine("iui, thread: " + i + ", epoch: " + (j + 1));
        Debug.WriteLine((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
        await file.WriteLineAsync((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
    }
}
// AutomationElement
AutomationElement a_element = GAutomationManager.GetWindowByProcessID(15204);
{
    StreamWriter file = new StreamWriter("ae.out", append: true);
    for (int j = 0; j < 100; j++)
    {
        DateTime ts_start = DateTime.UtcNow;
        List<AutomationElement> res = GAutomationManager.GetLeafElements(a_element);
        DateTime ts_end = DateTime.UtcNow;
        Debug.WriteLine("ae, epoch: " + (j + 1));
        Debug.WriteLine((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
        await file.WriteLineAsync((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
    }
}
for (int i = 1; i <= 24; i++)
{
    StreamWriter file = new StreamWriter("ae_multi_" + i + ".out", append: true);
    GThreadPool<ThreadStart> threadPool = new GThreadPool<ThreadStart>(i, new Action<ThreadStart>((threadStart) =>
    {
        threadStart.Invoke();
    }));
    for (int j = 0; j < 100; j++)
    {
        DateTime ts_start = DateTime.UtcNow;
        ConcurrentQueue<AutomationElement> res = GAutomationManager.GetLeafElementsByParallel(a_element, threadPool);
        DateTime ts_end = DateTime.UtcNow;
        Debug.WriteLine("ae, thread: " + i + ", epoch: " + (j + 1));
        Debug.WriteLine((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
        await file.WriteLineAsync((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
    }
}
MessageBox.Show("Done!");

.NET C# 获取桌面UI元素总结

gyro永不抽风 • 2021 年 08 月 02 日

结论

前几篇文章在这里：

经过几天的研究初步获得了如下的结论：

Win32API不靠谱
和Snipaste开发大佬交流后得知的MSAA方法有局限，对于Text属性可能不能读取（这个功能对我来说至关重要，替代品为UIAutomation）

先说测试后的结论：

竟然是System.Windows.Automation最高效
手写的剪枝DFS比微软封装的方法高效
如果测试的时候用户在操作其他UI或有UI变化会导致速度变慢
多线程优化几乎没有效果

猜测：

瓶颈就是这个需求本身
速度取决于Server端，和如何实现无关

测试

测试范围：

System.Windows.Automation
- 手写带有剪枝的DFS
- 线程池优化的剪枝DFS
- 使用Walker写DFS
- 直接使用FindAll(TreeScope.Descendants)
UIAutomationClient (COM)
- 手写带有剪枝的DFS
- 线程池优化的剪枝DFS
- 使用Walker写DFS
- 直接使用FindAll(TreeScope.Descendants)

测试代码：


// IUIAutomation
IUIAutomationElement element = GIUIAutomationManager.GetWindowByProcessID(15204);
{
    StreamWriter file = new StreamWriter("iui.out", append: true);
    for (int j = 0; j < 100; j++)
    {
        DateTime ts_start = DateTime.UtcNow;
        List<IUIAutomationElement> res = GIUIAutomationManager.GetLeafElementsDFS(element);
        DateTime ts_end = DateTime.UtcNow;
        Debug.WriteLine("iui, epoch: " + (j + 1));
        Debug.WriteLine((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
        await file.WriteLineAsync((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
    }
}
for (int i = 1; i <= 24; i ++)
{
    StreamWriter file = new StreamWriter("iui_multi_" + i + ".out", append: true);
    GThreadPool<ThreadStart> threadPool = new GThreadPool<ThreadStart>(i, new Action<ThreadStart>((threadStart) =>
    {
        threadStart.Invoke();
    }));
    for (int j = 0; j < 100; j++)
    {
        DateTime ts_start = DateTime.UtcNow;
        ConcurrentQueue<IUIAutomationElement> res = GIUIAutomationManager.GetLeafElementsByParallel(element, threadPool);
        DateTime ts_end = DateTime.UtcNow;
        Debug.WriteLine("iui, thread: " + i + ", epoch: " + (j + 1));
        Debug.WriteLine((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
        await file.WriteLineAsync((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
    }
}
// AutomationElement
AutomationElement a_element = GAutomationManager.GetWindowByProcessID(15204);
{
    StreamWriter file = new StreamWriter("ae.out", append: true);
    for (int j = 0; j < 100; j++)
    {
        DateTime ts_start = DateTime.UtcNow;
        List<AutomationElement> res = GAutomationManager.GetLeafElements(a_element);
        DateTime ts_end = DateTime.UtcNow;
        Debug.WriteLine("ae, epoch: " + (j + 1));
        Debug.WriteLine((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
        await file.WriteLineAsync((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
    }
}
for (int i = 1; i <= 24; i++)
{
    StreamWriter file = new StreamWriter("ae_multi_" + i + ".out", append: true);
    GThreadPool<ThreadStart> threadPool = new GThreadPool<ThreadStart>(i, new Action<ThreadStart>((threadStart) =>
    {
        threadStart.Invoke();
    }));
    for (int j = 0; j < 100; j++)
    {
        DateTime ts_start = DateTime.UtcNow;
        ConcurrentQueue<AutomationElement> res = GAutomationManager.GetLeafElementsByParallel(a_element, threadPool);
        DateTime ts_end = DateTime.UtcNow;
        Debug.WriteLine("ae, thread: " + i + ", epoch: " + (j + 1));
        Debug.WriteLine((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
        await file.WriteLineAsync((ts_end - ts_start).TotalSeconds.ToString() + " " + res.Count);
    }
}
MessageBox.Show("Done!");

发表评论取消回复

评论 *

表情

OwO

OωO
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
（╯‵□′）╯︵┴─┴
￣﹃￣
(/ω＼)
∠( ᐛ 」∠)＿
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ｀)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ(￣∇￣o)
ヾ(´･･｀｡)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò｡)
Σ(っ °Д °;)っ
( ,,´･ω･)ﾉ"(´っω･｀｡)
╮(╯▽╰)╭
o(*////▽////*)q
＞﹏＜
( ๑´•ω•) "(ㆆᴗㆆ)
(｡•ˇ‸ˇ•｡)

颜文字
阿鲁
推特

私密评论

名称 *

🎲

邮箱 *

地址

DavidYR
这是快两年没更新了吗OωO
夏午
我30多了, 决定用业余时间认真死磕数学
夏午
m和n 一直递增, 我只能得出 a +b 肯定会小于 m'+...
夏午
为什么得到a+ b >= m' + n' +m+n, 之...
Paraselene
tun模式下，怎么使用switchomega接管浏览器的分流？...

.NET C# 获取桌面UI元素总结

结论

测试

发表评论取消回复

Clash 入土为安

GAN（对抗生成网络）的基本原理以及数学证明

记录 | 腾讯云COS被打33T

Stern-Brocot Tree 性质的证明

瞎折腾 | KirinShiKi插件再更新

[知乎] [转载] | 如何评价《剃须，然后捡到女高中生》？

使用Java, AppleScript对晓黑板进行定时自动打卡

MacbookPro 2017 Bootcamp A卡补帧

CSAPP | 210902 | 第二章信息的处理和表示 (1)

汉化嵌字自动排版的探索 - 重合度优先模型

.NET C# 获取桌面UI元素总结

结论

测试

结论

测试

发表评论 取消回复

.NET C# 获取桌面UI元素总结

结论

测试

发表评论取消回复