Ceph中RGW是如何向底层OSD发送Message的
这篇文章主要介绍Ceph中RGW是如何向底层OSD发送Message的,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
成都创新互联是一家集网站建设,沾益企业网站建设,沾益品牌网站建设,网站定制,沾益网站建设报价,网络营销,网络优化,沾益网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。
1. Librados的读写流程
在src/cls/rgw/cls_rgw_client.cc
可以看到如下函数:
int cls_rgw_lc_set_entry(IoCtx& io_ctx, string& oid, pair& entry) { bufferlist in, out; cls_rgw_lc_set_entry_op call; call.entry = entry; ::encode(call, in); int r = io_ctx.exec(oid, "rgw", "lc_set_entry", in, out); return r; }
继续跟踪io_ctx.exec()
这个函数调用, 在src/librados/librados.cc
可以查看到相应的函数实现如下:
int librados::IoCtx::exec(const std::string& oid, const char *cls, const char *method, bufferlist& inbl, bufferlist& outbl) { object_t obj(oid); return io_ctx_impl->exec(obj, cls, method, inbl, outbl); }
继续跟踪io_ctx_impl->exec()
这个函数调用,在librados/IoCtxImpl.cc
中看到如下实现:
int librados::IoCtxImpl::exec(const object_t& oid, const char *cls, const char *method, bufferlist& inbl, bufferlist& outbl) { ::ObjectOperation rd; prepare_assert_ops(&rd); rd.call(cls, method, inbl); return operate_read(oid, &rd, &outbl); }
rd.call()此函数将该操作封装成OSDOp,放入ObjectOperation对象的vector集合中。 在最后的operate_read(oid, &rd, &outbl)
函数中发起读写请求操作:
int librados::IoCtxImpl::operate_read(const object_t& oid, ::ObjectOperation *o, bufferlist *pbl, int flags) { if (!o->size()) return 0; Mutex mylock("IoCtxImpl::operate_read::mylock"); Cond cond; bool done; int r; version_t ver; Context *onack = new C_SafeCond(&mylock, &cond, &done, &r); int op = o->ops[0].op.op; ldout(client->cct, 10) << ceph_osd_op_name(op) << " oid=" << oid << " nspace=" << oloc.nspace << dendl; Objecter::Op *objecter_op = objecter->prepare_read_op(oid, oloc, *o, snap_seq, pbl, flags, onack, &ver); lock->Lock(); objecter->op_submit(objecter_op); lock->Unlock(); mylock.Lock(); while (!done) cond.Wait(mylock); mylock.Unlock(); ldout(client->cct, 10) << "Objecter returned from " << ceph_osd_op_name(op) << " r=" << r << dendl; set_sync_op_version(ver); return r; }
需要说明的是operate_read(oid, &rd, &outbl)
可以分解为一下三个步骤:
创建一个Op实例,数据结构变成了Objecter::Op
Objecter::Op *objecter_op = objecter->prepare_read_op(oid, oloc, *o, snap_seq, pbl, flags, onack, &ver);
操作提交到objecter层,操作对象类型变为
Objecter::Op
, 函数实现在osdc/Objecter.cc
:
objecter->op_submit(objecter_op)
继续调用ceph_tid_t Objecter::_op_submit()
函数,函数实现在osdc/Objecter.cc
: 省略了部分代码,重点关注send_op(op)
ceph_tid_t Objecter::_op_submit(Op *op) { // pick tid if we haven't got one yet if (op->tid == ceph_tid_t(0)) { ceph_tid_t mytid = ++last_tid; op->tid = mytid; } assert(client_inc >= 0); // pick target num_homeless_ops++; // initially; recalc_op_target() will decrement if it finds a target int r = recalc_op_target(op); bool check_for_latest_map = (r == RECALC_OP_TARGET_POOL_DNE); ............ else if (op->session) { send_op(op); } ............. }
这里的send_op(op)
就是我们要关注的重点了. 从这里开始就会用到网络层提供的各种操作将消息,也就是这里的op
发送出去. 这里可以看成是调用网络层的一个起点.
下面的代码就和网络层有关系了。
2. 发送消息的过程。
在网络层中,需要注意的是类Messenger是核心的数据结构。同时也是个抽象基类,在Firefly版本中,由于网络通信类型只实现了SimpleMessenger这一单一类型。在后面,就会看到SimpleMessenger是继承自Messenger类,很多方法最终都是调用的是SimpleMessenger(在此也可以体会到多态思想)。 首先,看一下Objecter类的声明(其他部分已省略):
class Objecter : public md_config_obs_t { ........... public: Messenger *messenger; ........ }
在这个类中声明了messenger
. 从ceph_tid_t Objecter::_op_submit(Op *op)
中可以看到,最后调用了send_op()
函数。 这个函数末尾:
messenger->send_message(m, op->session->con);
可以看出,需要发送的消息是: m
。 发送到哪里去呢? 通过**op->session->con
**可以获取到相应的连接。
以上是“Ceph中RGW是如何向底层OSD发送Message的”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!
本文标题:Ceph中RGW是如何向底层OSD发送Message的
当前路径:http://pwwzsj.com/article/ijpcco.html