Cylc & Altair的PBS专业™功率天气建模在澳大利亚气象局
走向2019年的超级计算?注册加入Cylc用户组以牵牛星天气解决方案为特色！午餐包括在内。
天气建模是一个挑战。它需要高性能计算(HPCbob官网 bob体育下载)资源和可以协调最复杂的循环工作负载的强大软件。
预测澳大利亚的气候和天气
气象局是澳大利亚国家气候、水和气象机构，是澳大利亚政府最基本和最广泛使用的服务机构之一。该局的项目经理Alan Riley说，该局为整个非洲大陆提供了有关其“往往十分恶劣的自然环境，如干旱、洪水、风暴和热带气旋”的专业知识。“所有这些都需要向澳大利亚公众提供专业知识，而这需要通过定期预报、警告、监测和建议来完成，这不仅涉及澳大利亚，也涉及南极领土。”
气象局在其千兆级克雷超级计算机上运行其数值天气预报(NWP)套件。它使用一个老化的短信工作流调度程序。该局需要一个现代化的、可扩展的服务来支持不断增长的NWP建模和后处理输出。
使用循环编排循环工作流
Cylc(发音为“silk”)是一个开源的Python工作流引擎，用于循环系统，处理一系列复杂的工作流。(见循环系统的工作流自动化，科学与工程，第21卷，第4期，2019年7月/ 8月］．它根据详细的时间表和依赖性自动执行任务，在天气和气候建模、NWP、物理模拟和数据处理等领域尤其有用。循环已经成为全球主要天气和气候中心的流行选择——现在它是气象局的一个关键工具。
使用Cylc，只要满足依赖项，任务就可以运行，并具有最大的并发性，以更有效地使用HPC资源。cyc最初是为执行环境预报而开发的羽新西兰国家水和大气研究所(National Institute of Water and Atmospheric Research in New Zealand)，现在它是NIWA和NIWA之间的开源合作项目气象局(英国)，欧洲天气和气候模拟卓越中心(ESiWACE)，气象局和其他贡献者。
cyc的创始人、NIWA的Hilary Oliver博士说:“骑自行车和实时日程安排不一样。”“在运行完时钟后，循环会在调度和实时调度之间尽可能快地无缝过渡，一旦系统赶上时钟。”
气象局项目主任Tim Pugh告诉我们，他的组织选择cyc的一个原因是它在研究和运营中得到了有效的利用。“选择Cylc作为我们操作的工作流调度程序是非常简单的，”他说。“我们在研究中使用它。通过在生产中使用它，意味着我们的高性能计算应用和数值预测从研究到运营的简单过渡。”bob电竞官方
Cylc和Altair PBS Professional™
将复杂、关键的系统转换为一个新的开源工作流引擎可能是一个令人望而生畏的前景——因此，Altair与NIWA和澳大利亚气象局一起开发了一个生产环境，用于监测许多Cylc工作流的性能，并与PBS专业工作负载管理器一起。
PBS的专业Altair的行业领先的工作负载管理器和作业调度器用于高性能计算和云环境，是牵牛星PBS作品™套件。它允许HPC用户简化HPC基础设施管理和优化系统利用率，提高应用程序性能和最大化硬件和软件投资的ROI。
Altair已经向主席团提供了PBS Professional作为调度程序来管理其HPC系统上的资源。随着SMS调度器被弃用并需要被替换，Bureau正在寻找一个商业供应商来为他们的Cylc工作流提供支持，因为Cylc是开源的，没有商业支持。
为什么气象局选择牛郎星
“牵牛星被选中协助该局，因为它的高性能计算系统的知识，我们需要与他们的产品集成，”Tim Pugh说。“PBS Professional在我们的HPC系统上提供作业资源管理和调度。这对系统至关重要，如果服务宕机，我们就会认为是整个系统宕机。牵牛星明白这一点的重要性。”他说，这种合作关系“让我们每天都能达到气象局预报中心所需要的结果。”
Altair的项目经理David Block补充说:“Altair有很长的历史，倾听我们的客户，并及时和目标地提供强大的解决方案。牵牛星正与气象局合作，建立一个通用解决方案，以帮助天气和气候工作人员监测他们的环境，然后提供必要的诊断，以查明任何问题。”
目前，许多场址的工作人员需要不断监测环境。新的解决方案将通过一个推动机制提醒他们。它还允许他们监视超级计算机硬件、Cylc套件和PBS Professional工作，并清晰而简明地报告状态。该解决方案被设计成模块化和通用的，因此任何站点都可以开箱即用地部署它，或者使用它们更熟悉的替代组件。Altair正在构建几个组件，并为Cylc做出贡献。
“由于使用开源软件，”布洛克说，“世界各地的网站都可以实施这个解决方案，并与社区合作进行改进。”Altair还可以支持任何安装该解决方案的网站。”
持续改进周期
澳大利亚气象局的Cylc + PBS Professional集成将使用PBS Professional和开源Kafka消息代理来统一一个具有许多工作流的大型生产系统。NIWA的Oliver博士说:“Altair为开源项目带来了重要的商业专业知识，他们正在支持Cylc的开发，使图形用户界面现代化并提高安全性。”
该局的Alan Riley补充说:“仅仅是搬到Cylc就解决了很多我们谈到的问题，但这个项目也在继续。它正在做一些额外的事情来进一步改善这个系统。”合作继续发展的领域包括:
- 安全特性
- 通过Apache Kafka触发跨调度器
- SMS和Cylc套件之间的通信，反之亦然
- 增强的报告
- BI工具支持仪表板和性能分析
- 与局的企业监控工具集成
Cylc即将进行的其他改进包括一个全新的基于web的控制面板，它带有一些工具，可以给支持团队提供更多的控制和更好的监控能力。cyc版本8将是cyc为现代网络技术进行的一次重大的重新架构。牵牛星将继续活跃在Cylc社区。
