|
可以看到，MuZero算法由以下三部分组成：
-
表示函数h将一组观察值（棋盘）映射到神经网络的隐藏状态s；
-
动态函数g根据动作a_(t + 1)将状态s_t映射到下一个状态s_(t + 1)，同时估算在此过程的回报r_t，这样模型就能够不断向前扩展；
-
预测函数f根据状态s_t对策略p_t和值v_t进行估计，应用UCB公式并将其汇入MCTS过程。
根据轨迹选择用于网络输入的观测值和动作。相应地，策略、值和奖励的预测目标是在生成存储的轨迹。
从下图可以看到过程生成（B）与训练（C）之间的一致性：
其中，q_min和q_max分别是整个搜索树中观察到的最小和最大r(s,a)+γ⋅v(s')估计。
过程生成
重复执行以下过程可实现上述MCTS：
-
在当前环境状态下进行搜索；
-
根据搜索的统计信息π_t选择一个动作a_(t+1);
-
根据该动作更新环境，得到新的状态s_(t+1)和奖励u(t+1)；
-
重复上述过程。
勒索软件和网络钓鱼攻击防范技巧
(1) 注意木马感染 —— 勒索软件攻击并非始于勒索软件。Ryuk 和其他类型的勒索软件程序通常都从植入木马病毒入手。这种木马感染通常发生在勒索软件攻击开始前的几天或几周，因此专业安全人员应提防网络感染 Trickbot、Emotet、Dridex 和 Cobalt Strike，使用威胁搜寻解决方案消除这些病毒，避免为 Ryuk 打开大门。
(2) 周末和节假日提高警惕 —— 近一年来，大多数勒索软件攻击都发生在 IT 和安全人员较少值班的周末和节假日。
(3) 使用反勒索软件解决方案 —— 虽然勒索软件攻击很复杂，但具有补救功能的反勒索软件解决方案可有效帮助组织在遭到感染后的短短几分钟内恢复正常。
(4) 对员工进行有关恶意电子邮件的培训——培训用户如何识别和避免潜在的勒索软件攻击至关重要。当前的许多网络攻击都始于一封有针对性的网络钓鱼电子邮件，该电子邮件甚至不包含恶意软件，只包含一则引诱用户点击恶意链接或提供特定信息的社交工程消息。培训用户识别这些类型的恶意电子邮件通常是组织可以部署的最重要的防御措施之一。
(5) 虚拟补丁 —— 联邦调查局的建议是对旧版软件或系统打补丁，但这对于医院来说是不可能的，因为在许多情况下系统无法打补丁。因此，我们建议使用具有虚拟打补丁功能的入侵防御系统IPS，防止黑客尝试利用脆弱系统或应用中的漏洞。IPS 将保持更新，确保您的组织受到保护。
（编辑：阜阳站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
