当前位置：首页>Excel>做具身智能机器人,分享我的学习笔记

做具身智能机器人,分享我的学习笔记

2026-11-07 01:48:11

做具身智能机器人,分享我的学习笔记

具身智能 · 术语总表（每日更新）

学习计划：每天约 10 个词，按"身体 → 感知 → 大脑 → 训练"四站推进。本表随每日讲义同步追加，可当作速查手册。

学习路线图

站点	主题	状态
第 1 站	身体：机器人的硬件语言	✅ 已完成（Day 01 / 01B）
第 2 站	感知：传感器与地图构建	✅
第 3 站	大脑：AI 与大模型进机器人	🟢
第 4 站	训练：数据、仿真与学习	⏳

第 2 站 · 感知·算法篇（Day 03 ）

主题：从"看到"到"看懂"。核心链条——原始数据 → 语义（框/mask）→ 几何（6D 位姿）→ 动作（抓取位姿）。这一讲只讲前两级，第四级属第 3 站。

#	中文	English	缩写	一句话解释
42	目标检测	Object Detection；YOLO 你只看一次；Faster R-CNN / DETR	BBox	框 + 类别 + 置信度三件套；单阶段(YOLO,快) vs 两阶段(Faster R-CNN,准) vs Transformer(DETR,免 NMS)；框是轴对齐的，斜放物体误差大
43	点云配准	Registration；ICP 迭代最近点 Iterative Closest Point	ICP	找最近点→挪一小步→再找，迭代到重合；粗配准(FPFH+RANSAC)→精配准(ICP)；无序抓取 Bin Picking 的核心
44	语义分割	Semantic Segmentation；U-Net / DeepLab / FCN	Seg	每个像素贴类别标签，但不区分个体（两杯子同色）；导航的"可通行区域 Free Space"就靠它
45	实例分割	Instance Segmentation；Mask R-CNN / YOLACT / SAM；全景 Panoptic	Mask	语义分割 + 每个个体一条 mask 并编号；全景分割＝things(数得清)+stuff(背景)合一；比检测慢数倍，故用级联
46	关键点	Keypoint / Landmark；人体姿态估计 Pose Estimation	Kpt	物体上几个具名固定点（肩肘腕、把手、箱子角）；用于抓取点选择、人机安全、动捕遥操作 Retargeting；遮挡时是"猜"的，要看置信度
47	6D 位姿估计	6D Pose Estimation；PoseCNN / FoundationPose / SAM-6D；BOP 基准	6D Pose	相机坐标系下的 3 旋转 + 3 平移；四条路线：对应点+PnP / 渲染比对 / 直接回归 / 基础模型(零样本)；对称物体多解、反光透明难、位姿≠抓取位姿
48	坐标系与变换矩阵	Coordinate Frame / Transform；齐次变换 Homogeneous；tf 树	TF / 4×4	坐标数字离开坐标系无意义；4×4 矩阵装"旋转+平移"，可连乘：T_世界_相机 = T_世界_本体 × T_本体_末端 × T_末端_相机；坑：单位 m/mm、欧拉角顺序、万向锁、时间戳
49	相机内参与投影	Pinhole Model；内参矩阵 K（fx,fy,cx,cy）；反投影；PnP	K / PnP	决定 3D 点落在哪个像素；反投影只给射线不给距离（单目无尺度）；经典套路：框中心→射线→与深度/平面求交；PnP＝已知 2D-3D 对应解位姿
50	栅格地图	Occupancy Grid Map；代价地图 Costmap；膨胀层 Inflation	Occupancy Grid	方格纸三态：占据/空闲/未知（未知≠安全）；log-odds 概率累积；膨胀机器人半径成代价图；局限：内存、3D 被压扁、动态障碍要分层
51	语义地图	Semantic Map；场景图 Scene Graph；物体记忆 Object Memory	Scene Graph	从"这有障碍"到"这是厨房台面，上面有杯子和刀"；服务语言指令的必需品；难点在维护与遗忘（语义会过时）
52	数据集与标注	Dataset / Annotation；COCO；Open X-Embodiment；DROID；Sim2Real	COCO / OXE	数据是"指给它看"，标注是"指"这个动作；COCO=视觉普通话(80类)；OXE=跨本体机器人操作数据合集；数据质量比模型结构更决定上限，长尾与 Sim2Real Gap 是落地卡点
53	开放词表	Open-Vocabulary Detection/Seg；CLIP；SAM 分割一切；Grounding DINO	Open-Vocab	不限于训练类别，一句话就能找；CLIP 把图像与文字映射到同一向量空间比"像不像"；SAM 抠任意轮廓；开放≠可靠、慢、会胡说，需几何校验
54	感知管线与延迟预算（加餐）	Perception Pipeline / Latency Budget	Pipeline	采集→去畸变→检测→分割→6D→TF→碰撞检查→抓取位姿→规划；曝光10+传输5+推理30+后处理10+总线5≈60 ms，0.5 m/s 下物体已移 3 cm；工程看"预算内够不够好"，不看 mAP

四个视觉任务速查：有什么/在哪块→目标检测(YOLO)｜哪块能走→语义分割｜第几只/轮廓→实例分割｜从哪抓/关节在哪→关键点｜歪多少度→6D 位姿｜是哪个零件→ICP 配准

今日预埋词汇：抓取位姿 Grasp Pose · 手眼标定 Hand-Eye Calibration · PnP · 四元数 Quaternion · 万向锁 Gimbal Lock · 体素 Voxel / OctoMap · 长尾 Long-tail · Sim2Real Gap · 跨本体 Cross-embodiment · VLA 视觉-语言-动作模型 · Diffusion Policy

今日通关句（Day 03）

相机拍下一帧图，目标检测（YOLO）先框出候选；实例分割把两只杯子分开、拿到轮廓；6D 位姿估计算出目标杯子的 R 和 t——此刻还在相机坐标系里，必须经 TF 变换链（world → base → ee → camera，其中"末端→相机"那步叫手眼标定）搬到机械臂自己的语言里；内参矩阵 K 把框中心反投影成射线、与深度求交得到 3D 点；关键点告诉你把手在哪、从哪进指。同时点云被压成栅格地图（Occupancy Grid）去规划绕障，语义地图记着"这是厨房台面"，零件靠 ICP 配准认出型号；所有模型都从 COCO、Open X-Embodiment 这类数据集学来，没见过的东西请 CLIP/SAM 这类开放词表模型临时"听懂人话"。整条链要在 60 毫秒内跑完——感知的终点不是一张漂亮的标注图，而是一个在可信坐标系下、来得及执行的抓取位姿。

本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：wyl860211@qq.com 。

做具身智能机器人,分享我的学习笔记

具身智能 · 术语总表（每日更新）

学习路线图

今日通关句（Day 03）

高中化学-必修选必400条常见常考清单手册知识背记

PPT图文混排这样做,简直易如反掌|PPT教程