项翔,
计算机科学博士
约翰霍普金斯大学
虽然我们可能说不同的语言,但我们几乎以相同的方式阅读同一个视觉世界。
概要
Xiang Xiang自2012年起担任约翰霍普金斯大学计算机科学专业的第六届博士生,自2012年起担任Gregory D. Hager(自2012年起担任首席顾问)以及自2014年起担任计算机科学博士学位, Trac D. Tran (2014年起担任首席顾问) Gregory D. Hager (自2014年起担任共同顾问)被列为我的官方顾问。 自从我开始从事多媒体,尤其是视觉信号( 图像和视频 ) 处理 , 计算机视觉和三维可视化以及视觉模式识别领域工作已有一段时间了。 近年来,我的研究专注于稀疏的近似线性表示,用于真实世界的视觉信号,这是一个具有优雅代数推导的领域,自然也是优化。 我是DSP实验室的成员,CIRL,CCVL,LCSR,MCEH和CIS。 我于2014年与Trac D. Tran(主席),Gregory Hager,Rene Vidal,Russ H. Taylor,Daniel Robinson,Mark Dredze和Austin Reiter一起通过了我的GBO。 要快速浏览我的论文,请参阅我的Google学术搜索页面 。
自从来到美国后,我幸运地经历了各种工作场所,包括一家成功的创业公司,一家大公司的工业实验室和一个联邦政府研究实验室。 在过去,我于2017年6月至8月在马里兰州剑桥市的菲利普斯研究北美菲利浦斯 研究所担任橡树岭研究所的研究员 ,并于2017年8月在马里兰州 Silver Spring的FDA 设备和放射学中心 成像部门工作。 2016年5月 - 8月,在加利福尼亚州圣迭戈的Emotient R&D(现在的Apple AI)担任飞利浦Vital Signs Camera实时患者识别研究实习生。 2015年作为Ian Fasel和Javier Movellan的广告视频分析研究实习生。 在来到霍普金斯大学之前,我于2012年毕业于中国科学院计算技术研究所,由陈锡林提供建议,并与可视信息处理和学习( VIPL )小组的洪昌和时光山一起工作。 有关我的教育和其他学术经历的更多信息,请参阅http://www.cs.jhu.edu/~xxiang/或在[email protected]上留言
研究哲学
将图像序列表示为图像集与序贯模型的实证研究
阿尔伯特爱因斯坦说,一切都应该尽可能简单,但并不简单。 由于复杂的事情很简单,如果某个简单的模型确实不能很好地工作,我非常好奇。
图像序列以各种形式出现。 例如, 视频是一段时间内逐帧图像的序列; 3D立体图像是在3D空间的一维上逐片的一系列图像; 典型的多分辨率图像分析是滑动并卷积具有不同内核大小的图像以在缩放空间上引起一系列图像块。
现在, 如果我们简单地将一个图像序列建模为一组无序图像,那么我们将失去顺序信息。 可能由于明显的缺点,这一领域并没有经过深入调查。 事实上,我们仍然可以从图像集中学习信息表示(比如协方差矩阵)。 目前流行度相对较高的一种方法是汇集或汇总单个特征向量。 从更直观的角度来看,另一种方法是利用线性表示向量上的低秩度图像强度和群体稀疏度,以便所有图像协同表示一组图像。 模型的优雅也由线性简单的事实给出。
另一方面,顺序建模是一个研究得比较深入的领域:全球与局部,长期与短期,马尔可夫与半马尔可夫等。 但是,我倾向于重新讨论简单的模型,例如帧/切片差分,运动建模以及随时间推移的相关特征。
有了这样一个“少即是多”的心态,我甚至怀疑从图像到图像序列是否总是必要的。 至少在某些现实世界的计算机视觉系统中,现在正是基于视觉信息进行识别,预测和决策至关重要。 在这种情况下,对图像进行充分利用和深入探索是明智的。 我进行的一项经验性工作是简单地通过调整基于图像的模型来将图像特征转换为不同的任务。 另一个例子是通过归一化深度特征以及深度网络的权重来获得判别力。
一系列图像通常比图像具有更多的存储空间和处理时间。 虽然我不确定爱因斯坦所说的总是正确的,但我已经意识到更简单模型的美妙之处 - 少计算,占用内存少,参数调整少,或者只是更好的理解。 在计算,记忆和较少调整对我们很重要的情况下,我们可能只想简单地最大化简单模型的性能。
[CVML]:计算机视觉与机器学习; [CVHC]:医疗保健中的计算机视觉。
预印本
[CVML] Xiang Xiang *,Ye Tian *,Austin Reiter,Gregory D. Hager,Trac D. Tran。 为行动技能评估堆叠段级P3D。 JHU WSE技术报告。 (*等同贡献。)[ researchgate ] [ github ] [ linkedin ]
出版物
项翔:白内障手术阶段识别中的空间对齐效应。 在IEEE计算机视觉与模式识别 ( CVPR )2018年关于精细粒度教学视频理解的研讨会上发表论文摘要论文,在盐湖城,犹他州。 [ umich ] [ google ]
[CVML] Xiang Xiang和Trac D. Tran: 面部动作的线性无纠缠表示学习。 出现在IEEE Transactions on Circuits and System for Video Technology ( IEEE T-CSVT ),Volume:PP,Issue: 99,2018 . [ ieee ] [ arxiv ] [ github ] [ 建模工作(新视角):基于视频的稀疏性+ PCP ]
[CVHC]朱文涛, Xiang Xiang ,Trac D. Tran,Gregory D. Hager和Xie Xiaohui Xie: 对冲深部结构网络用于乳房X线摄影的质量分割 。 要在IEEE国际生物医学成像研讨会 ( ISBI )上发表全文, 2018年,美国华盛顿特区。 [ arxiv ] [ github ] [ linkedin ]
[CVHC] 项翔 ,朱文涛,Trac D. Tran,Gregory D. Hager: 肺结节检测的多尺度CNNs调查 。 作为IEEE International Symposium on Biomedical Imaging ( ISBI ) 国际研讨会的论文摘要, 2018年,美国华盛顿特区。 [ google ]
[CVHC] Xiang Xiang *,Ye Tian *,Gregory D. Hager,Trac D. Tran:使用时间卷积网络评估视频中的疼痛等级。 在IEEE Winter Conf中作为摘要论文出现。 计算机视觉应用 ( WACV ) 2018 加利福尼亚州太浩湖主动和辅助生活计算机视觉研讨会。 (*等同贡献。)[ google ]
[CVML]王峰, 项翔 ,程诚,Alan L. Yuille。 NormFace:用于人脸验证的L2 Hypersphere嵌入 。 长篇论文将出现在美国山景城的2017年ACM多媒体 ( MM )会议上。 [ arxiv ] [ github ] [ researchgate ] [ comment ] [ linkedin ] [ csdn in Chinese] [ 理论工作(3个新命题):权重和特征的范数对于非线性表示很重要 ]
[CVHC]王峰, Xiang Xiang * ,Chang Liu,Trac D. Tran,Austin Reiter,Gregory D. Hager,Jian Cheng和Alan L. Yuille。 规范面部验证网络进行疼痛强度回归 。 IEEE国际图像处理会议 ( ICIP )2017,中国北京。 ( *通讯作者口头报告)[ ieee ] [ google ] [ researchgate ] [ arxiv ] [ github ] [ 幻灯片 ] [ jhu ] [ linkedin ] [ 建模工作(新目标):用回归微调人脸网损失通过分类损失调整以导致离散值 ]
[CVML] Hao Zhu,Feng Wang, Xiang Xiang and Trac D. Tran。 带有联合学习嵌入和量化的监督散列 。 IEEE国际图像处理会议 ( ICIP )2017,中国北京。 [ ieee ] [ google ] [ researchgate ] [ linkedin ] [ 建模工作(新目标):图像检索的松散优化 ]
[CVML] Xiang Xiang ,Dung N. Tran,Trac D. Tran。 用于视频汇总的混合观测的稀疏无监督聚类 。 IEEE应用图像模式识别研讨会 ( AIPR )摘要论文 2017年,美国华盛顿特区。 [ google ] [ researchgate ]
[CVML和HC] Xiang Xiang和Trac D. Tran: 姿态选择性最大池测量相似性。 IAPR国际模式识别会议 ( ICPR )2016年研讨会,墨西哥坎昆。 LNCS,vol。 10165(Video Analytics),ISBN:978-3-319-56686-3。 [ 算法工作(2个新算法):基于视频的关键帧+深度 ] [ springer ] [ github ] [ researchgate ] [ arxiv ] [ aau ] [ linkedin ] [ google ]
[祥云] Xiang Xiang和Trac D. Tran: 递归测量的行动单位 。 IAPR国际模式识别会议 ( ICPR )2016年研讨会,墨西哥坎昆。 LNAI,vol。 10183(模式识别社会信号),978-3-319-59258-9。 [ researchgate ] [ drive.google ] [ books.google ] [ springer ] [ 算法工作(新算法):基于视频的LSTM + SMP ]
[CVML] Xiang Xiang ,Minh Dao,Gregory D. Hager,Trac D. Tran: 用于情感识别的分层稀疏和协作低秩表示 。 IEEE国际声学,语音和信号处理会议(ICASSP), 2015年,澳大利亚布里斯班。 ISBN:978-1-4673-6997-8。 [ ieee ] [ arxiv ] [ github ] [ mathworks ] [ youtube ] [ elsevier ] [ 建模工作(2个新目标):基于视频的稀疏性+ PCP ]
[CVHC] Xiang Xiang ,Daniel Mirota,Austin Reiter,Gregory D. Hager: 多模型特征匹配更适合内窥镜运动估计? 国际医学图像计算和计算机辅助干预会议 ( MICCAI )2014研讨会,美国波士顿。 LNCS,vol。 8899(计算机辅助和机器人内窥镜),2014年,ISBN:978-3-319-13409-3。 [ springer ] [ nih ] [ researchgate ] [ code ] [ google ] [ 实证工作:基于视频的3D视觉 ]
[CVML] Xiang Xiang ,Hong Chang,Jiebo Luo: 视频中选定移动对象的在线Web数据驱动分割 。 亚洲计算机视觉会议 ( ACCV )2012:134-146,韩国大田。 LNCS,vol。 7725(ACCV),2013,ISBN:978-3-642-37443-2。 [ 建模工作(分割的新目标+跟踪的新算法) [ springer ] [ acm ] [ pdf ] [ researchgate ] [ demo ] [ github ] [ youtube ] [ dataset ] [ google ] [ cvpapers ] [ visionbib ] [ 幻灯片 ] :基于视频的MIL跟踪+图形裁剪 ]
项翔 : 机器人手术非刚性变形下的定位框架 。 国际视觉计算研讨会 ( ISVC )2011:11-22,美国太浩湖。 LNCS,vol。 6938(Advances in Visual Computing),2011,ISBN:978-3-642-24027-0。 [ springer ] [ acm ] [ linkedin ] [ researchgate ] [ google ] [ visionbib ] [ 建模工作(新配方):基于几何的注册 ]
项翔 : 动态场景中的前景分割尝试 [CVML] 向翔 : 动态场景中的前景分割尝试 。 国际视觉计算研讨会 ( ISVC )2011: 124-134 ,美国太浩湖。 LNCS,vol。 6938(Advances in Visual Computing),2011,ISBN:978-3-642-24027-0。 [ springer ] [ acm ] [ researchgate ] [ google ] [ 实证工作:基于视频的图形切割 ]
项翔 ,陈文辉,杜增: 具有均值漂移的智能目标跟踪与射击系统 [C]。 IEEE International Symposium on Parallel and Distributed Processing and Applications ( ISPA )2008:417-421,Sydney,Australia。 Parallel and Distributed Processing,IEEE,2008,ISBN:978-0-7695-3471-8。 [ ieee ] [ pdf ] [ github ] [ youtube ] [ whu ] [ sjtu ] [ 嵌入式视觉工作:基于视频的跟踪相机 ] [有趣的引用论文 ](这次会议的典型论文 ; 没有免费午餐 ,但欢迎来到丛林 !事实证明,我在10年前开始在大学里做多核心,并观察到它转向了多CPU / GPU,这引起了现代视觉和图形应用的巨大成功。)
“ 高于或低于上面,如果你从不尝试,你永远不会知道,只是你的价值。 ” - <修复你> Coldplay,2005。
教学
我是奥斯汀瑞特在2017年秋季和2015年秋季期间讲授的EN.600.461 / 661 计算机视觉和2013年秋季期间由Rene Vidal讲授的EN.600.461 / 661 计算机视觉的联合TA,EN.600.683 视觉的头TA, 作为贝叶斯推理由Alan L. Yuille于2017年春季授课,由Ilya Shpitser于2016年秋季授课的EN.600.477 / 677 因果推断负责人TA 以及由Trac D. Tran授课的EN.520.648 稀疏恢复与压缩感测协同TA此外,我还在2015年冬季教过计算机视觉中的EN.600.311 稀疏表示作为教员,并且我是JHU 教学学院 准备未来教师计划的受助人。 [ youtube ]
“ 我们会得到它,把它们放在一起,然后向上,向上,向上。 ” - <Up&Up>酷玩乐队,2015。
研究兴趣
我的研究集中在计算机视觉和矩阵理论之间的交集。 具体而言,使用表示学习来解决视觉识别涉及发现数据结构。 最简单的说,数据结构是信息的结构化表示。 例如,视频帧高度相关,因此如果我们将每个帧表示为矢量并将它们排列成矩阵,则存在潜在的低秩矩阵。 低秩矩阵逼近不需要给我们一个视觉上有意义的对象,所以我们再一次在表示学习中应用其他先验知识,例如结构化稀疏性。
写起坐
新鲜研究,丰富多彩的生活 ,2009年。[ 谷歌 ]
视觉跟踪方法简要回顾 ,2011. [ google ] [ researchgate ]
Xiang Xiang和Daniel Gildea : EM算法讲义 ,2012. [ rochester ]
Xiang Xiang和Jiebo Luo :手术阶段识别 ,2012。[ dropbox ] [ youtube ](眼动追踪)
一种实现修剪ICP算法的方法 ,2012。[ dropbox ]
学习立体声匹配的CRF ,2013. [ dropbox ]
“使用信仰传播的立体匹配综述” ,2013年。[ dropbox ]
向湘 , Fabian Prada和郝江 。 用于情绪识别的联合稀疏和低秩表示,2014。[ dropbox ]
我对博士论文的理解,2014. [ google ]
关于计算机视觉,机器学习和优化的GBO问题示例 ,2014. [ 博客 ]
设置Caffe ,2014的教程 。[ dropbox ]
从收据到图表:自动执行会计工作流程。 MASC-SLL,JHU,2015 [ researchgate ] 。
响应辅助刺激分析, 2015。[ 谷歌 ]
视频字幕的纸张列表 。 2015年。[ 谷歌 ]
2015 年EigenFace评论 。[ dropbox ] [ 优酷网 ]
2015 年维度降低评论 。[ dropbox ]
2015 年视听语音识别调查 。[ researchgate ] [ linkedin ]
用于测试VGG_Face深层模型的C ++解决方案 ,2016。 [ github ] [ linkedin ]
足球场计算机视觉 ,2016年。[ linkedin ]
2016年全自动动画制作的未来 。[ linkedin ]
对象骨架的提取 ,2016。[ linkedin ] [ dropbox ]
多尺度深度3D CNN用于2017年肺结节的自动检测和分割。[ dropbox ]
2018年通过张量分解给出的空间和时间基础理论分析3D CNN的建议。[ 谷歌 ]
服务
IEEE Trans。审稿人 Image Processing'18,T-CSVT 15-17,Pattern Recognition'18,SPIE Journal of Electronic Imaging'18,ICASSP'17,MICCAI17'16'15,ICCV'15,ICRA'14,ICIP'12'11和ICME '12。
CVPR'17 PASCAL的技术人员详细挑战。 DLMIA @ MICCAI'17和AMFG @ CVPR'18的计划委员会成员。
ACM Multimedia'09'17和ACM ICMI'10志愿者,ISCAS'16,非政府组织09-10年度青年成就奖。
-----------------
JHU-CS:研究生联合会理事17-18和研究生入学代表 13-18。
霍普金斯CSSA 足球队经理(领队)。 赢得JHU校内冠军'16秋季,最终'15秋季和17岁秋季,以及DC Cup'15&常春藤联盟杯'17最佳格斗奖。
我的妻子是CMU校友,我们有一个女儿。 我们帮助CMU的非CS部门CEE筹款。
2015年(左二)澳大利亚布里斯班ICASSP; (中)CIRL @ Cambridge,MD; (右)Emotient @ San Deigo,CA
2016年(左)飞利浦研究部@马萨诸塞州剑桥市; (中)哈佛大数据会议; (右)JHMI研讨会@巴尔的摩,MD
2017年:CCVL @巴尔的摩医学博士(上图); FDA @ Silver Spring,MD(左下); ACM MM @ Mountain View,CA(中下方)
WACV 2018 @ Lake Tahoe,CA&NV。
ISBI 2018 @华盛顿特区。
斯坦福大学人工智能实验室(左),波士顿大学团队(中)和JHU-CCVL的Pascal-in-Detail API(右)的Deep Sail项目的贡献者。
有趣的演示:从视频中保存表情的3D人脸建模。
霍普金斯CSSA足球队赢得罗德岛普罗维登斯布朗大学2018年常青藤杯