研究員/杰出科學(xué)家，張正友現(xiàn)任微軟研究院視覺技術(shù)組高級研究員。在騰訊，張正友牽頭成立了機器人實驗室機器人SX，致力于推動下一代人機協(xié)作機器人研究。目前，機器人SX實驗室重點研究和應(yīng)用了移動性、靈巧操作和智能體等三項通用技術(shù)機器人重點研究和開發(fā)了多模態(tài)移動性機器人。2020年11月，RoboticsX SX發(fā)布了兩個新的進展:四足機器人Jamoca和自平衡輪式移動機器人，可以完成行走梅花樁的復(fù)雜挑戰(zhàn)。

機器人抓取時可以使用多種傳感器進行定位，常見的有:機器人可以使用攝像機等視覺傳感器獲取目標(biāo)物體的圖像信息，通過計算機視覺算法定位目標(biāo)物體的位置和姿態(tài)。視覺傳感器具有精度高、靈活性好的優(yōu)點，但受光照和背景干擾較大，需要對光照和背景進行預(yù)處理。激光傳感器:機器人可以利用激光雷達(dá)等激光傳感器獲取目標(biāo)物體的三維點云信息，通過點云匹配算法定位目標(biāo)物體的位置和姿態(tài)。

力傳感器:機器人力傳感器等機械傳感器可以用來測量機器人末端執(zhí)行器在抓取目標(biāo)物體時所受到的力和力矩，從而推斷出目標(biāo)物體的位置和姿態(tài)。力傳感器具有高可靠性的優(yōu)點，并且適用于復(fù)雜的物體形狀和變形，但是它需要高的硬件成本。超聲波傳感器:機器人可以使用超聲波傳感器等距離傳感器來測量機器人末端執(zhí)行器與目標(biāo)物體之間的距離，從而推斷目標(biāo)物體的位置。

機器人在國內(nèi)了解到機器人領(lǐng)域的機器視覺與計算機視覺領(lǐng)域的機器視覺有些不同:機器視覺的目的是為機器人提供操作對象的信息。因此，機器視覺的研究大概包括以下幾個部分:物體識別:檢測圖像中物體的類型等。，與CV的研究有很大重疊；位置估計:計算物體在攝像機坐標(biāo)系中的位置和姿態(tài)。對于機器人，你需要抓住某個東西，不僅要抓住它是什么，還要抓住它在哪里。CameraCalibration:因為上面我們所做的只是計算物體在相機坐標(biāo)系中的坐標(biāo)，所以我們還需要確定相機與機器人的相對位置和姿態(tài)，從而將物體的姿態(tài)轉(zhuǎn)換為機器人。

首先，我們要明白機器人 domain中的機器視覺與ComputerVision中的機器視覺有些不同:機器視覺的目的是為機器人提供操作對象的信息。因此，機器視覺的研究大概包括以下幾個部分:物體識別:檢測圖像中物體的類型等。，與CV的研究有很大重疊；位置估計:計算物體在攝像機坐標(biāo)系中的位置和姿態(tài)。對于機器人，你需要抓住某個東西，不僅要抓住它是什么，還要抓住它在哪里。CameraCalibration:因為上面我們所做的只是計算物體在相機坐標(biāo)系中的坐標(biāo)，所以我們還需要確定相機與機器人的相對位置和姿態(tài)，從而將物體的姿態(tài)轉(zhuǎn)換為機器人。

6月3日，微信官方賬號，騰訊官方微信，宣布增加一名新成員，即RobicSX實驗室wheel leged機器人Ollie。這是騰訊機器人SX公司機器人-2/繼自平衡自行車、機器狗Jamoca和Max之后推出的新類型。既有車輪優(yōu)勢，又有腿部能力，但目前還處于研發(fā)階段，將在擴展感知、負(fù)載等各種功能模塊后，進入更多生活場景。足部運動和輪式運動是目前機動性研究的兩個主流方向。

兩個優(yōu)點的輪腿式機器人或更多應(yīng)用場景。在滑行跳躍能力方面，這款機器人“非線性控制方法的自適應(yīng)應(yīng)用”可以實現(xiàn)360°自由轉(zhuǎn)體、S線極限滑行等高難度動作，40 cm臺階跳躍，垂直起跳高達(dá)60 cm，同時采用機器人全身動力學(xué)，有效控制機器人的全身姿態(tài)，提高抗外界干擾能力，面對實驗打擊能穩(wěn)定防摔，平穩(wěn)實現(xiàn)上坡下坡。