Summary of work related to general robot manipulation.
主流的抓取研究一般有2类： 2D平面抓取和6-DoF抓取。 2D平面抓取时， 机械抓手垂直于物体所在的平面，只能从一个方向抓取， 这对物体的抓取有很大限制。 6-DoF抓取可以从空间任意方向进行抓取， 有很大的灵活性。 6-DoF也不严格是指有6个自由度， 而是至少有6个自由度，三维旋转和三维的抓取中心。有时可能还有夹爪的宽度等， 一般也统称6-DoF抓取， 有些文献可能叫7-DoF抓取。
这里主要总结6-DoF的抓取， 不关注2D平面抓取。
上海交通大学团队系列工作：
-
GraspNet-1Billion: A Large-Scale Benchmark for General Object Grasping CVPR 2020
核心工作是提出了一个大型的抓取姿态检测数据集和评估系统， 包含约10万张图像和10亿个标注的抓取姿态。另外也提出了一个抓取检测网络作为基准。
-
RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images ICRA 2021
核心思路是把抓取姿态估计解耦成2个问题： 通过单目RGB图像产生热力图去预测在图像上的抓取位置和夹爪的方向，然后通过热力图和深度图预测夹爪的宽度和夹爪与图像的距离。 而以往的方法一般是通过RGBD图像得到点云，忽略了RGB图像中很多丰富的信息。 这种方法降低了对深度信息的依赖， 提高了在深度信息不太准的情况下的鲁棒性。
-
Contact-GraspNet: Efficient 6-DoF Grasp Generation in Cluttered Scenes ICRA 2021
-
Graspness Discovery in Clutters for Fast and Accurate Grasp Detection ICCV 2021
核心工作是提出了抓取质量度量-graspness， 预过滤掉了大多数低质量的抓取姿态， 极大地提高了效率和精度。 该工作已被集成到AnyGrasp中， 但未开源代码， 仅提供动态链接库供调用。
-
主要解决透明物体的抓取。
-
AnyGrasp: Robust and Efficient Grasp Perception in Spatial and Temporal Domains T-RO 2023
主要贡献是考虑了动态物体的抓取。
Graspnet-1 Billion解读: https://zhuanlan.zhihu.com/p/703428650
代表性工作： 北京大学王鹤课题组 https://hughw19.github.io/
-
提出了一个2阶段的灵巧抓取框架， 第一阶段针对物体点云输入生成若干抓取手势，从中挑选一个作为目标手势之后，第二阶段使用基于目标手势的强化学习策略来执行抓取。
-
关注不同物体不同位姿的几何差异，并利用通用策略-专家策略学习方法，极大地提升了 UniDexGrasp 的泛化能力
-
DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation ICRA 2023
-
DexGraspNet 2.0: Learning Generative Dexterous Grasping in Large-scale Synthetic Cluttered Scenes CoRL 2024
-
Task-Oriented Dexterous Grasp Synthesis via Differentiable Grasp Wrench Boundary Estimator IROS 2024
1 google RT系列
2 Octo 2023
3 OpenVLA 2024
HuggingFace: LeRobot 2024
上海交通大学 GraspNet-1Billion 2020
google: Open X-Embodiment 2023
斯坦福 Mobile ALOHA (这不是一个具体的数据， 而是一套机器人数据采集系统) 2024
智元： AgiBot-World 2025
数据集的区别:
GraspNet-1 Billion 主要专注于 抓取姿态检测 和 机器人视觉与操作，适用于需要大量抓取姿态数据的研究和应用。
Agibot World 则涵盖了 更广泛的任务类型，包括家庭、餐饮、工业、商超和办公场景中的多样化技能，适用于需要机器人在复杂环境中执行多种任务的应用。