might's room

TL;DR:使用RDMA单边操作，解决计算不平衡和通信不平衡问题对于计算不平衡，通过对发送数据进行细粒度的切分进一步隐藏计算和通信延迟对于通信不平衡 通过单边通信和主动get 基于Gemini，发现gemini中存在节点间计算不平衡和通信不平衡的问题计算不平衡：通用的划分策略只能平衡每个节点在每次迭代中的总计算成本，而不能平衡它们在每轮中的计算成本。（每轮即gemini在一次迭代中通过循环通信来进行计算和通信，每一轮表示处理一个分区）通信不平衡：每个节点连接到另一个节点的边数不平衡会导致每轮发送数据量不均匀 IV. DESIGN OF SHMEMGRAPH单边通信基本设计如上图所示，每个节点只有一个通信线程，使用put将数据写到其他节点上的接收缓冲区。 准备工作完成并填充发送缓冲区后，发送方线程对接收方节点上相应的长度数组进行原子比较和交换（CAS）操作。这个单一的 CAS 有三个目的：通知数据到达、通知数据大小以及锁定接收缓冲区。冲突是指另一个 CAS 之前修改了同一位置。接收器检查长度数组以了解接收数据的到达和长度。接收数据在有效数据部分末尾有一个完成标志，以确认传输完成。虽 ...

Recently, the emergence of high-performance Remote Direct Memory Access (RDMA) technology brings opportunities for distributed graph processing. Due to the ability of zero-copy and kernel-bypassing, RDMA network achieves high throughput and low latency with low CPU utilization. For example, the latest RDMA network provides 200 Gbps throughput and 1 μs latency.14 If we deploy distributed graph processing systems on RDMA network, the performance of graph processing can be further improved. Howeve ...

START Basic 当cloudlab有多个节点需要配置环境时，手动配置过于麻烦，可以执行脚本来统一配置 1.登录其中一个节点，生成公钥，将这个节点 公钥添加到cloudlab  此时可以通过node0来登录其他所有的node 2.编写每个节点配置环境的脚本，放在共享目录下比如脚本为可以放在/proj/nsccgz-storage-PG0/exp/ 3.在node0编写执行脚本，脚本来源自永锋师兄 12345678910111213141516171819202122232425262728293031323334353637#!/bin/bashset -xserver_hosts=("node0""node1""node2""node3""node4""node5"&quo ...

START Basic TL;DR：结合CXL和以太网，实现两层互联架构，解决数据密集型应用的通信困难 ## 1 Introduction cxl互联可以很好的解决分布式数据密集型应用中的通信问题 > 在当今的生产云中运行的数据密集型应用程序，例如图形处理[47]、数据分析[17]和深度神经网络（DNN）训练[44]通常使用批量同步并行（BSP）[65]或MapReduce来运行范式，这需要两个关键阶段的迭代执行：跨多个计算单元的数据计算（例如，DNN 训练中的前向和后向传播），以及这些单元之间的通信（例如，MapReduce 中的数据混洗）。此类应用程序是计算密集型的并且非常耗时。例如，在单个 TPU 上训练 BERT 模型需要超过 1.5 个月的时间 由于CXL互联的长度限制，通常在只在机架内部，机架之间通过以太网连接。然而，跨越多个主机或机架超出互连的到达极限，其通信效率不可避免地受到主机之间缓慢的网络链接的阻碍。 解决这一差距的直观方法是构建一个聚合容量大于互连容量的 NIC 池，旨在实现超出互连范围限制的高效通信。然而，由于带宽差异巨大，为每个节点的本地互连构建单独的池 ...

START Basic TL;DR: I. INTRODUCTION现代数据中心使用微服务来提升敏捷性、弹性和模块化，微服务大量使用RPC通信，然而，传统的值传递RPC会带来大量额外的数据移动， 这里论证值传递的RPC造成冗余数据传递问题，有多么严重。。。 引入全局地址空间后可以实现按引用传递的RPC，然而，这样的全局地址空间直接与RPC的语义相矛盾，并且耦合了RPC调用者和被调用者。共享相同内存的微服务需要相互同步以保持数据一致。这需要微服务中的额外逻辑来处理共享，从而使微服务的开发变得复杂。 因此，一些特定领域的应用程序不是直接使用 RPC，而是倾向于构建在专用框架 [50]、[52]、[57] 之上，例如用于数据处理的 Apache Spark [73] 和分布式 Pytorch [45] ] 用于机器学习。该框架通常与内存数据存储服务集成。调用者进程不是直接在 RPC 中传输大数据，而是将数据复制到数据存储服务并发送返回的引用。当远程被调用者进程需要访问数据时，它使用引用通过网络将调用者的数据存储中复制的数据获取到自己的数据存储中。被调用者数据存储中复制的数据是不可更改的 ...