企业官网建设流程全解析

企业宣传片摄制,seo案例,cps广告是什么意思,平面设计在线网站目录一、研究内容概述1、凝视数据的提取与可视化1.1、使用aria眼睛的机器感知系统#xff08;MPS#xff09;获取3D凝视方向1.2、提供凝视数据在第一人称和第三人称下的2D重投影方法1.3、支持一般凝视和个性化凝视两种模式2、手势与身体姿势的提取与重投影2.1、从标注文件中提…目录一、研究内容概述1、凝视数据的提取与可视化1.1、使用aria眼睛的机器感知系统MPS获取3D凝视方向1.2、提供凝视数据在第一人称和第三人称下的2D重投影方法1.3、支持一般凝视和个性化凝视两种模式2、手势与身体姿势的提取与重投影2.1、从标注文件中提取3D关键点世界坐标系2.2、将3D关键点重投影到第一人称和第三人称的图像平面上2.3、支持手部与身体姿势上绘制关键点与骨骼连接3、无失真图像的处理与标注叠加3.1、对 Aria 镜头和 GoPro 镜头进行去畸变处理3.2、将2D标注叠加至去畸变后的图像上便于可视化分析4、对参与者进行熟练度估计4.1、示范者熟练度估算4.2、示范熟练度估计4.3、区别二、研究方法与技术路线1. 数据加载与预处理1.1、 使用projectaria_tools和opencv-python等库读取VRS格式的传感器数据1.2、通过 takes.json 和 captures.json 获取拍摄元数据与时间同步信息。1.3、支持自定义路径与采样频率适应不同数据规模与处理需求2、3D到2D的重投影方法2.1 、凝视重投影2.2、姿势重投影3、无失真处理技术4、可视化与标注绘制5、多模态数据融合一、研究内容概述该教程围绕的Ego-Exo4D 数据集展开该数据集同时包含了第一人称视角Ego和第三人称视角Exo的视频、传感器与标注数据而4D则是三维空间时间维度研究内容主要包括以下几个方面1、凝视数据的提取与可视化1.1、使用aria眼睛的机器感知系统MPS获取3D凝视方向aria眼睛数据的文件一般都是用VRS储存的VRS数据存储在Stream流中且有唯一的标识允许我们检索所有的VRS数据以及校准数据我可以从Stream流中获取aria眼睛的RGB相机和左右SLAM相机的标定信息以及图像信息1.2、提供凝视数据在第一人称和第三人称下的2D重投影方法虽然训练集同时包含第一人称和第三人称的数据但是理解下来第一人称是占主要位置的第三人称是为第一人称服务的第三人称得到的凝视数据对于aria眼睛模拟效果不好的情况第三人称可以提供额外的凝视数据来帮助计算1.3、支持一般凝视和个性化凝视两种模式一般凝视和个性化凝视都是第一人称下的凝视方式一般凝视是基于用户大数据推导出来的平均数据无需用户特定校准随时可使用但是可能有系统误差而个性化凝视是有专门的校准过程系统学习该用户的眼动特性但是具体实现该教程没有说明2、手势与身体姿势的提取与重投影2.1、从标注文件中提取3D关键点世界坐标系跟上面一样通过MPS读取外置相机VRS读取aria眼睛的相机只不过这次需要加载手部姿势和身体姿势。2.2、将3D关键点重投影到第一人称和第三人称的图像平面上通过重投影技术分别将3D关键点投影到2D图像平面上因为最终我们是要通过2D图像来展示学习效果2.3、支持手部与身体姿势上绘制关键点与骨骼连接通过关键点以及关键点之间的连接关系我们可以简化人类复杂的行动逻辑在该教程中骨骼包括了鼻子、耳朵、手肘、腕部、拇指、臀部等一些关键的运动部位但是从实际效果图中只运用了腕部、手指的骨骼连接关系3、无失真图像的处理与标注叠加3.1、对 Aria 镜头和 GoPro 镜头进行去畸变处理通过资料发现Aria眼镜是鱼眼状的所以拍摄出来的画面是缩小且扭曲的而GoPro则是广角镜头也是带有一定扭曲效果的而EgoExo4D 数据集中的一些注释是在未失真帧上完成的。因此我们需要先恢复失真然后才能在帧上叠加二维注释。3.2、将2D标注叠加至去畸变后的图像上便于可视化分析找到EgoExo4D数据集的下载文件加载必要注释再通过加载Ego镜头和Exo镜头读取其外心相机的校准数据找到采样帧再添加到视频里中去4、对参与者进行熟练度估计4.1、示范者熟练度估算目标是估算参与者在任务中的绝对技能水平评估参与者在整个任务中的整体技能水平给出一个全局性的熟练度等级并且提出相关建议4.2、示范熟练度估计对任务执行过程进行细粒度、时序性分析识别具体表现良好和需要改进的时段4.3、区别前者的输出是一个单一标签比如该参与者是新手、专家、高级专家等是对参与者评价后者输出的是一个时间戳列表每个时间戳对应一个熟练度类别拿做饭举例子在t1时间戳下切菜的熟练度为老手t2时间戳下炒菜的熟练度为新手是对过程的评价二、研究方法与技术路线1. 数据加载与预处理1.1、 使用projectaria_tools和opencv-python等库读取VRS格式的传感器数据projectaria_toolsMeta专门为Project Aria设备开发的专用工具库主要用于Aria眼镜采集的VRS格式数据、相机标定处理、MPS数据处理、集合变换SE3等opencv-python通用的计算机视觉和图像处理库主要用于读写图像、尺寸调整、相机标定、去畸变、一些机器学习的模块1.2、通过 takes.json 和 captures.json 获取拍摄元数据与时间同步信息。takes.json记录的是拍摄片段比如正在做什么活动、什么时候、有谁参与了captures.json记录设备的信息用什么设备、如何同步、原始数据位置1.3、支持自定义路径与采样频率适应不同数据规模与处理需求数据集在不同机器上储存不同比如如果代码是这样的ego_exo_root/datasets01/egoexo4d/v2/那么数据集只能在我的机器中使用教程中是这样的那么我们可以很方便的在不同的机器上调用这些数据2、3D到2D的重投影方法2.1 、凝视重投影使用的是MPS提供的凝视向量结合我们相机的参数可以将3D凝视投影到图像平面在教程中的逻辑关系为gaze_vector_in_cpfmps.get_eyegaze_point_at_depth(eye_gaze.yaw,eye_gaze.pitch,eye_gaze.depth)gaze_vector_in_cpfnp.nan_to_num(gaze_vector_in_cpf)gaze_vector_in_deviceT_device_CPF gaze_vector_in_cpf gaze_vector_in_worldT_world_device gaze_vector_in_device运用到了矩阵的预算如果需要逆运算则调用.inverse()2.2、姿势重投影基于标注的3D关键点通过相机姿态变换矩阵将世界坐标系下的关键点投影至各相机视角。教程中代码为pose_vector_in_worldannot_3d[part]# project the keypoint from world to go_pro devicepose_in_go_pro_worldgo_pro_proxy[go_pro][pose].inverse() pose_vector_in_world# project the keypoint from go_pro device to go_pro image planedevice_projectiongo_pro_proxy[go_pro][camera].project(pose_in_go_pro_world)MPS 是一个 离线数据处理系统专门用于处理从多相机系统特别是 EgoExo 这样的第一人称第三人称系统收集的数据生成高层次的计算结果。因为原始VRS数据是低层次、未处理、未对齐、数据量大经过MPS处理之后就是高层级、已处理、已对齐且紧凑的。3、无失真处理技术Aria 相机使用 projectaria_tools.calibration 提供的 undistort_by_calibration 函数。GoPro 相机基于 OpenCV 的鱼眼去畸变模型结合相机内参与畸变系数进行图像校正。4、可视化与标注绘制使用 PIL.ImageDraw 绘制关键点、骨骼连接与标签这些在教程代码中阐述的很详细所以不多赘述支持不同颜色编码与绘制样式圆形、十字、标签等通过教程中的绘制函数我们知道红色的叉代表的是MPS重投影的凝视点、模型预测的关键点而绿色代表的是CSV中的凝视点、人工标注的关键点可同时展示多视角图像便于对比分析。5、多模态数据融合结合 VRS 数据、MPS 轨迹数据、时间同步文件与标注文件实现多传感器数据的时空对齐。支持凝视、姿势、图像与视频数据的联合可视化。