一、HPC：转化医学的技术保障

    生命科学的进步让人类能够更好地借助科学手段从基础组层面进行分析来指导患者的诊疗工作。相比完成病理分析及少量分子检测后即可实施手术或化疗的传统癌症治疗方案，更加先进的转化医学需要对患者的整个基因组进行分析，以指导药企及临床医生进行更有针对性的药物及治疗方案研究，从而为患者提供更为精准、更加有效的诊疗。转化医学中心工作涉及面广，包含组学技术、生信分析、基础医学研究和药物开发等各个方面。生物信息学研究是转化医学研究的基石，它会涉及对蛋白质、DNA和RNA等生物分子的研究。

    从上述可见，转化医学与数据处理和分析息息相关，包含了生物信息的获取、加工、储存、分配、分析、解释等方方面面。而涉及的数据量庞大：每个文件大小可能达上百GB，例如，仅单个人类全基因组测序分析涉及的数据就可能高达870GB。

    如此体量的数据，就让数据处理速度变得更为关键，而且中心招募的患者通常病情都比较危急，需要以尽可能快的速度基于患者生信数据分析结果给出针对性的创新疗法。

    从医学中心的很多工作来看，都是“与死神赛跑”的过程，而且其加速的过程，或者说效率的提升，都与承载生物信息学研究的IT平台，尤其是强大的高性能计算(HPC)平台密不可分。所以构建一个集存、传、算、用为一体的的定制化平台，能够为转化医学实践提供了坚实可靠的技术基础。

二、超算HPC需要更强存储

    因为算力提升的速度快到令人难以置信，反而让如今的HPC系统开始普遍面临“失衡”的问题，即其计算，与其存储和网络的性能拉开了非常大的差距。任何一个HPC平台的规划都是一个系统性工程，它在体系结构设计、高速互联网络、并行文件系统等任何方面的欠缺或不足，都可能拖累平台的整体性能。如果算力爆棚但存储系统性能不行，就很可能让高算力空转，无法充分释放其价值。

    这种“失衡”，如今在计算和存储间的表现尤为明显——在算法和算力已取得显著提升的今天，不论是机械硬盘，还是固态盘在读写速度和带宽上都已远远跟不上算力的需求，而距离算力单元更近、性能较强且担负热数据承载重任的内存子系统，又很难扩展其容量。

    这可能就是HPC平台算力与存储性能失衡的根因，它会引发“存储墙”或“数据墙”问题，使得算力单元与内存及存储之间就像隔着一堵墙，使其无法得到数据的高效供应，或影响数据高并发访问时的效率。这种传统内存-存储在架构和性能上的瓶颈，会在业务和应用层面造成算力投资的浪费，影响相关应用负载或项目的效率。

三、看StarGFS满足超算存储需求

    通量测序仪的通量飞跃式发展，在数据存储上的需求一直都是水涨船高。最关键的是要进行数据分析，CPU的计算速度很快，但大量时间用在了数据加载上。因此，中间层的存储系统就显得非常重要。

    整个HPC平台需要构建一套更加高性能的存储系统，来更为从容地应对其面临的“存储墙”问题，这就包括要让存储跟上海量数据高速处理的要求、要满足不同科研和临床团队高效并行访问海量生信数据的要求，以及要持续容纳庞大、复杂、多维且不断增长的数据等等。

    推荐采用二级存储模式——面向高性能存储需求的并行文件系统StarGFS、面向二级归档的存储系统StarNAS。存储系统提供高性能文件系统用于原始数据高性能处理期的高性能存储，同时提供S3对象存储面向海量数据的归档和数据发布使用。

3.1 StarGFS构建高性能并行存储

    星实推出的StarGFS并行文件系统是一个性能为中心，围绕简单易用、易安装以及易管理而设计的领先并行文件系统。StarGFS具有高性能、高可靠、出众的小文件性能等诸多特点，能够很好地构建一套高性能的共享文件存储平台，满足业务的存储需求。

3.1.1 出众的聚合吞吐性能

    StarGFS是以性能为中心，采用了集群架构设置，能在线扩展到EB级别。StarGFS单一文件系统承载上万台服务器，提供上百GB/s的吞吐带宽。

    StarGFS支持RDMA以及ROCE等相关高速协议，从而能够在INFINIBAND等高速网络环境中提供超低的读写访问延迟，大幅度提升文件系统的读写效率。

StarGFS架构图

3.1.2 针对海量小文件高吞吐率、高效检索技术

    StarGFS现有的多元数据服务器集群技术的基础上，结合高性能计算应用文件创建、访问以及目录结构特点，研制了多元数据服务器集群技术。在一套存储系统中可以根据用户生产系统中实际产生文件数量的规模对元数据服务器集群进行动态配置，整个存储系统中所有的元数据服务器同时参与文件的检索和定位工作，消除存储系统中元数据通道的瓶颈，同时还可以根据后续应用特点的变化和需求的增强，做到在线扩展元数据服务器，并且达到即插即用的效果。

    同时StarGFS充分利用SSD的高IOPS特点，设计了SSD动态缓存技术，提升文件系统在海量小文件场景的IOPS/OPS。

3.1.3 创新小文件容器Container存储技术

    目前，存储市场上大部分的存储系统在海量小文件的应用模式下，都存在吞吐率低，检索慢的问题，这个问题的本质原因是整个存储系统处理元数据的效率所导致的。海量的小文件导致了元数据数量也很庞大，常见的文件系统无法快速的处理庞大的元数据。StarGFS创新采用了小文件容器Container聚合存储技术，将多个文件进行聚合存储。这样将多次的元数据操作整合成了一次，大大减少了元数据的操作量。十几倍地提升了小文件的读取效率。

小文件容器Container存储技术

3.1.4 面向多用户环境的增强型权限管理技术

    很多计算平台是一个多用户共享平台，每天都有很多用户在计算平台上面运行不同的任务，整个存储系统也需要保证各个用户之间的任务相互独立、数据安全高可用。因此，传统的基于操作系统用户权限的管理技术无法完全满足计算平台的需求。在新研制的存储系统中拟提供增强型权限管理技术，除了兼容原有基于操作系统用户的权限管理之外，还增加了自身所特有的增强型权限管理技术，通过存储系统的后端管理平台直接为某个目录指定哪些用户、或者哪些应用服务器能够访问，哪些目录禁止用户删除、修改等。

3.1.5 纠删码实现存储节点级别故障容错保障数据安全

    StarGFS支持N+M纠删码在保证系统高并发读写的前提下，还能通过纠删码保证节点级的冗余。能保证系统在数据安全性、高并发读写、高空间利用率三者皆得。

3.1.6 面向高性能计算的字节粒度锁

    普通的本地文件系统只提供文件粒度的锁，文件粒度的锁在文件这一级别上限制了并发，导致很多只是修改文件不同部分的进程或者线程也不能同时修改。而在很多高性能计算应用场景中，文件粒度锁限制了高并发，因为很多场景只是修改文件的一个部分，修改文件不同部分之间的进程或者线程理论上是可以同时进行的，但是文件粒度锁无法有效解决。

    为了可以在文件内部可以进行并发读写，StarGFS并行文件系统系统提供了字节粒度锁。这样加锁的粒度能够达到字节，修改同一个文件不同部分就可以并行执行，从而提高了同一个文件的IO性能。

3.1.7 面向高性能计算的智能数据缓存技术

    高效的数据缓存技术能够帮助存储系统发挥更好的性能，提高计算任务的效率。StarGFS采用多级智能数据缓存技术来实现高效缓存。

StarGFS多级缓存机制

    首先，通过应用服务器上自主研发客户端内核模块，分析应用访问数据的特点，采用特定的缓存算法在应用服务器上有效缓存应用的访问数据；

    其次，将所有存储服务器的内存集合起来形成一个大的缓存池，通过存储服务器上独特的缓存算法缓存不同应用访问的数据；

    最后，将所有元数据服务器的内存集合起来形成一个高效的元数据缓存池，通过复杂的元数据淘汰算法来缓存元数据信息。通过这样多级数据的缓存技术，会使得整个存储系统的性能能够得到大幅提高。

3.1.8 文件系统和对象存储互通提高数据访问和发布能力

    StarGFS同时支持提供S3对象存储接口能力，同时还支持文件系统和对象存储实现数据互通的功能。StarGFS的POSIX、S3、NFS、CIFS、HDFS存储协议等可以按需访问同一份数据，帮助企业按需构建数据湖模式的存储平台。

3.2 StarNAS构建灵活的二级存储

    StarNAS存储系统是为解决存储服务类型多样、存储容量需求中等而量身定制研发的一款多功能一体化高性能存储设备。底层采用了StarGFS并行文件系统，可按需配置单机或者双机模式，保障365*24小时安全可靠的运行。该产品能提供NAS文件存储功能的同时按需提供IPSAN、对象存储、企业云盘、虚拟化、文件备份等诸多企业功能。

    StarNAS能灵活构建海量非结构化数据的二级存储平台，或者满足小GPU集群模型下的存储需求，具有诸多特点：

3.2.1 灵活的存储容量伸缩能力

•  灵活的可横/纵向扩展架构

    StarNAS初始配置可以根据需要安装指定数量的硬盘，后续还支持动态增加硬盘来扩展存储容量，容量区间可以从数TB按需扩展到数百TB，而无需停机。StarNAS系统的安全性和读写性能可以随着硬盘数量的增多而随之提升。StarNAS还支持按需拔出硬盘来动态减少存储容量，无需停机且不丢失数据。

    StarNAS单台设备可以支持管理超过120块数据硬盘，并构建为统一的共享存储池。如采用20TB硬盘为作为数据盘，则单台存储设备最大可以实现2.4PB裸容量，从而实现在高性价比的情况下满足海量非结构化数据的二级备份归档存储需求。

3.2.2 一套NAS，多种企业级功能

• 企业信息化数据存储

    StarNAS系统支持多种数据传输协议，可同时作为文件级（NAS）、块级（IPSAN）、对象级（S3），满足非结构化数据和结构化数据的存储需求。

• 企业办公文件文档存储和分享【选配】

    StarNAS存储系统可按需配置企业云盘功能，支持Windows、Mac、安卓、IOS等多终端随时随地通过网络实现云端文件数据的存储、访问、分享、编辑，并且根据相关权限设置实现可控安全的文件存储和分享保障；支持多版本文件、秒传、多级保险箱、群组、加密传输、加密存储等诸多功能；支持用户之间、群组内等灵活的文件分享，提高办公效率。

• StarNAS Chat即时通讯【选配】

    StarNAS提供可选配置功能StarNAS Chat即时通讯功能，可以协同融合到企业云盘功能中。在帮助企业内部灵活构建部门和群组功能的同时，所有账号可以在账号之间进行简单易用的消息通讯，进行文件协同分享，提高企业办公效率。

• StarNAS 虚拟机融合功能【选配】

    使用StarNAS，您可以设置和运行各种虚拟机，包括 Windows、Linux 等操作系统。StarNAS提供近乎超融合的服务器，从而可使硬件与软件无缝配合，其中包括计算、存储和技术支持，以便尽可能降低虚拟化环境的成本。

3.2.3 高可靠性

    创新性的可靠性设计，最多可允许四块硬盘同时损坏，充分保障业务连续性和运转效率。

• 基于创新StarRAID冗余技术保障数据安全

    StarNAS存储系统采用创新的StarRAID技术对数据进行冗余保护，通过N+M纠删码按需动态设置数据保护等级。存储系统具备自动故障检测与恢复机制，自动快速恢复重建，恢复速度是传统Raid的10倍以上（1TB数据重构时间小于30分钟）。StarNAS系统支持磁盘热插拔，只要容量足够就不需即时更换故障盘，不影响业务连续性。

    StarNAS单存储节点最高支持同时4块磁盘故障，双存储节点支持单节点宕机。

3.2.4 高并发性能

• 可选的前端客户端切片技术满足高并发需求

    StarNAS采用了和传统存储系统不一样的文件数据切片式存储，智能化的文件切片存储能够更好的让数据落盘更加顺序化，减少硬盘磁头抖动提升读写性能；并且由于所有硬盘同时运转对外提供存储服务，实现系统性能最大化。

    StarNAS对于普通的SATA硬盘可以发挥接近150MB/s的读写性能，充分发挥硬件自身的效率来实现超高的并发数据读写能力，提高业务运转效率。

3.2.5 超高的小文件访问效率

    StarNAS采用了创新的小文件Container容器存储技术，能够在前端呈现标准POSIX文件系统名字空间的同时，在后端小文件落盘存储的时候实现智能的聚合成大文件的方式来实际存储。

    StarNAS通过采用该技术将任何大文件、小文件都会被当做大文件一样的来存储和检索访问，完全消除了传统文件系统文件存储数量受限、文件检索效率低下等严重的数量和效率的问题，打破了传统存储的局限，将小文件创建、检索效率提高到传统存储的十倍以上，完全可以轻松应对任何存在小文件的业务场景。

3.2.6 丰富的存储高级功能

• 灵活的双机/多机方案

    领先的对称双活方案：不需要引入任何第三方软硬件，直接通过两台同系列存储系统实现两台存储的双活工作。当其中一台存储发生故障时，可由另一台存储实时接管业务，实现RPO、RTO为零。

• 秒级数据快照克隆技术

    StarNAS的快照功能可为文件或者卷创建多达无限数量的基于增量的历史时间点拷贝。当发生数据“软”故障，比如软件程序导致的数据损坏、病毒破坏、意外删除等，可以通过对合适的时间点标记进行“回滚”来快速恢复数据。该功能特别适用于关键性业务的连续数据保护。

• 异构数据迁移

    支持不同存储系统之间数据快速高效、安全的复制和迁移，实现点对点、多点对多点之间的相互数据复制，发生意外灾难时能够对数据进行快速恢复，确保用户的业务持续性。具备差异、增量备份等机制，支持多目标源相互复制和推送。

• 支持全面的权限管理

    StarNAS支持权限控制列表ACL等相关功能，并且还支持更多可灵活配置的文件访问权限控制选项，能够根据应用场景需求动态灵活地授权给相关的用户或者工作站相关的文件创建、删除、重命名、修改等相关的权限，从而能够满足更多场景的文件数据安全存储和访问的需求。