Thoughts

每个人的世界无非是ta看到的，听到的，闻到的，尝到的，摸到的加上想到的。 今天Sora的问世让我感觉到离计算机能够模拟这个感官世界已经不远了。虽然不是精确的，但肯定可以是精彩的，令人满意的。在享受面前，谁又会在意精不精确呢。 2022年ChatGPT出来的时候有模糊的感觉：预测下一个token的任务竟然能在效果上模拟推理、逻辑、甚至扮演角色，这不就说明文字世界的一切其实是被一个概率刻画的规律主宰的吗。放在玄学语境里，就是所谓的因果，它真的存在。 这次OpenAI更近一步，“世界模型”的概念已经再清楚不过地表达他们已经接近找到用概率模型刻画世界的方法了。 Sora is able to generate complex scenes with multiple characters, specific types of motion, and accurate details of the subject and background. The model understands not only what the user has asked for in the prompt, but also how those things exist in the physical world. 时至今日，文本、图像、音频、视频都已经可以被基于概率的AI以不错的质量产生出来。这些模型几十上百GB的权重里就是一个参数化的世界。 当一切都打磨地更加完善，那下一步就可以做一个造物主，用概率的方法造一个跟现实世界很像的世界。元宇宙可能处在大爆炸前夜？

这两天各省的高考成绩陆续发布，考生和家长马上该为怎么填志愿伤脑筋了。 今年小舅子高考，考得不错，虽然清北上不了，但其他学校应该都有机会。作为一名负责任的好姐夫，自然也发动身边资源给小舅子出谋划策。 不搞不知道，现在填志愿还真是不容易。 首先是现在的大学都很会蹭热点、造概念。人工智能相关的各种学院、实验班就有好几个，比如浙大的图领班，人大的高瓴学院，复旦的计算机科学拔尖班。 还有些近年来火热的产业比如新能源，也有像上交的博渊未来学院这种新兴院系。 近年来各种软硬件的热点确实多，AI、半导体、新能源都火过一把，给了这些院系或者项目很好的土壤。 家长和考生也很吃这套，愿意为此买单。 遥想十几年前我填志愿那会其实也有热门专业，当时的显学是金融、建筑、土木，现在好像也都比较冷清了。 所以大家填志愿的时候也不要过分追逐当下的热点。 第二个现象是所谓大类招生，或者更实际的说法是各种“实验班”很多。这种实验班往往是相关专业搭在一起，但里面的专业强弱是有差别的。 例如复旦的“技术科学实验班”里面包含的专业有信息类也有航空航天。这种大类专业往往进去之后还要按成绩分流。 上海交大这方面就比较离谱，分流时80%看的是高考的成绩。感觉有点给考生画大饼的意思，用大类招生里的好专业把你吸（哄）引（骗）进来，入学后可能会和期望有偏差。 不管怎么样，我认为大类招生的本意应该是好的，但是对于这种大类招生，考生和家长们务必要调查清楚，做好预期管理。 今天看到一个我关注的大V写现在专业之间的差别没有学校之间差别大了，我感觉是有道理的。随着社会和国家对硬科技的关注越来越多，原来的一些天坑专业比如生化环材也开始支棱起来了。 计算机类虽然在收入上目前还有一定的优势，但优势也在衰减。在这种情况下，他建议大家可以多考虑下自己的兴趣和特长，我也比较认同。 不过遗憾的是，像我们这种在小县城长大的小孩可能很难有机会在上大学之前就搞清楚自己的兴趣到底是啥，很多东西可能都没有机会接触到。 作为一个过来人，我本来是想写点东西来给大家科普一下，但也一直没时间。这里把我的一些想法分享出来，大家可以用这个框架自行查阅资料。 其实很简单，想了解一个专业，可以问这几个问题： 这个专业在大学四年的培养计划是什么样的？会学一些什么课程？对比几个专业的培养计划就能看出区别来。如果培养计划没啥差别，那后面研究生阶段转换就会比较容易。 这个专业有哪些著名的公司？他们的产品是什么？他们的股价或者市值这几年是怎么变化的 这个专业有哪些著名的人物？可以分别找找学术界和工业界的，看下他们在研究什么。他们中有没有你想成为的人？ 大家有什么关于填志愿的好方法也欢迎在评论区留言。

今天第一次体验到来自大语言模型的压力。 最近在做一个语义匹配的小任务，选择的方案是用2021年的SOTA模型SimCSE在我们的领域数据上先进一步预训练，然后再用任务数据finetune降维。前几天的时候还自我感觉良好，因为比之前的模型效果好，还修复了老语言模型的一些明显badcase。 但是今天，我们用openai的embedding模型也试了一下，recall指标直接翻了一倍。当时看到结果我都惊呆了。这个模型一千个token只要0.0004美元，相当的便宜，而且开箱即用。 之前我看到网上帖子说NLP工程师失业啥的还觉得有点夸张，现在感觉还真有可能。 首先这个事情是有正反馈的，作为一款公开的产品，而且这么便宜，你不用别人也会用，你如果没法超过他（现在看起来确实不容易），那就只能也用，不然产品竞争力就会出问题。 一旦大规模用，那很多NLP问题的处理范式真的会改变，以前大家在不同场景finetune类似bert这样的小模型，但现在可能会变成在OpenAI embedding基础上finetune最上面的输出层，例如分类层。一个底座可以支撑好几个上层需求。这样的话需要的人力大大减少，公司的inference负担也大大降低。虽然在OpenAI那花了些钱，但算下来大概率是比原来划算的。 当然这样的方案也有一些问题，例如公司的数据就都让OpenAI知道了，并且OpenAI目前不太稳定，稳定性上有点不可控。 那作为公司，感觉除了之前大家都看到的在NLG上投入大模型这条独木桥，未来在NLU上投入大模型的应该会有很多。自己跑个10B量级的模型作为底座，做到OpenAI的8、9成应该是个比较好的选择。朋友们，赶紧学起来啊，不然真要成为纺织女工了。

不知不觉又到了新的一年，上午帮老师做总结ppt的时候借机回顾了一下自己这一年。感觉还是值得写下来。 坏的开头 今年从刚开始就很艰难，刚开学到实验室就赶紧把行走的论文改完，2月19号改投到了JMR。然后22号在本该合家团圆的元宵佳节就发生了非常令人沮丧的事情。那种无力感是不曾体会过的，真的太难受了。希望它的影响能早点消退，大家都能回到正常的生活轨道上去。经历了这件事，除了让我对自己的看法有了很大的改变，我对我们民族的一些东西也变得反感。大家都给自己和别人背负太多的东西，真的好累。 两篇论文 三四月份开始整人机交互的论文，承蒙组里各位照顾，很快就做好了实验。文章是在ICRA拒稿的基础上改的，git仓库里4月6号是第一次commit，4月16号的commit message写的是submit，应该就是那几天提交的论文。于此同时一边为了项目验收在设计传感器，画电路板。 五月底的时候两篇论文相继回来了审稿意见，都比较正面，但都有个别比较刁钻的审稿人问题。没办法，两篇论文同时修改，JMR的回稿日期是5月24日，我居然六月5日就交了修改稿。Sensors是五月22日回的稿，七月5日提交的修改稿。这里最感谢的是付老师，好几个晚上都和我讨论到十一点多了，帮我出主意，给我提意见。那段时间过得也确实比较苦逼，不过有一次我很晚回宿舍的时候回头望了一眼李兆基，几乎每个房间的灯都还是亮的。有的时候真的想不明白为什么大家都这么忙，我们到底在忙些什么？七月22和七月29两篇论文相继被接收，也算给这个忙碌的学期画上了比较完美的句号。不过比较对不住跟着我做毕设的本科生。在他答辩前我们也没整出一个稳定的传感器。 实习 大概在二三月份的时候，我在水木上看到英特尔招机器人实习生的广告，就去面了一下。但跟老师商量后他不建议我学期中去实习，也就没去了。后来临近暑假觉得还是实习下比较好，便又开始折腾。记得投了微软、阿里、腾讯，年轻的我做在线笔试都不敢用搜索引擎，更逗的是迷之自信居然投MSRA的研究岗。 MSRA和腾讯都挂了，阿里进了面试，映像也比较深刻。第一轮电面聊得还比较欢，问我一学机械的干嘛投产品，我大概回答他感觉技术会被刷，还问我一些关于笔试的问题等等。到了第二面，画风突变，问我最喜欢什么app，为什么，它哪里还可以改进还有三年后希望自己变什么样之类的。好多题是一面问过的，但这位面试官直接跟我说觉得我不适合做产品经理。后面想想其实不是我不适合，只是我真的没有准备。什么app怎么好该怎么改我只能捡了个熟悉的微信扯了扯。互联网节奏这么快，你没有任何准备别人自然也不会给你任何机会。包括前面的微软，我在笔试前都没刷过题，而且居然还用c++，只拿130分也是应该的。 虽然没拿到offer，但这些失败以及面试官的意见倒真的让我开始思考自己想做什么。清华机械真真是通识教育，念到研究生，什么都会一点但什么都不专精，而且学校项目和实际市场脱节比较严重。再加上我对机械的兴趣本来就不大，在仔细思考之后将方向定在了： 控制算法 机器学习 传感器 三个方向中1、3对应比较传统的制造业。2主要对应互联网企业。 找工作 找工作真的是今年比较重要的一件事了，但真的蛮幸苦的。由于有去互联网的想法，所以我比身边的同学早许多就开始了。八月份的时候通过100offer去了一家创业公司面试，技术总监是个清华电机系毕业的师兄，也让我第一次有机会近距离跟技术大牛过招。那次从简单的语言问题聊到算法甚至聊到波士顿动力的机器人，一场面试下来感觉自己真的好弱，要走的路还很长。最后由于我没法去实习他们也没给我offer，不过师兄的一句“你想做AI为什么不用Python”倒是点醒了我，于是开始了leetcode上python刷题之旅。 虽说前面已经梳理了自己的方向，但真的到投简历的时候还是会有“什么都想要，什么都感觉不错”的心理。看了下我的记录，我最后大概投了快40份简历，涵盖的领域远比之前的3个多。这也导致参加了好多好多笔试面试，占用了大量的时间。 拿到的第一个正式offer也是100offer推荐的阿里系创业公司天壤，AI岗，工资超过25w。电面的时候和创始人聊得蛮欢的，面完十分钟就给我发了offer。有了第一个offer就会比较有信心，吹水的时候也更煞有介事。但考虑以我目前的状态可能还不太适合去创业公司，就给回绝了。要是某天突然看到这个公司变得巨牛逼不知道会不会后悔，哈哈。第二个offer应该是海康威视，终面之后加面了总监。总监说我是个图像领域的新兵，给special不太合适，把我推给了机器人部门，还给了我一张名片，说后期可以再联系他，若有机会可以给我发SP。之后机器人部门面试比较顺利，待遇比天壤还高一些，可惜岗位在杭州，和我去一线城市的定位不符，最后也没去。后来还面了恒生电子，明知道他在杭州，却还是去面了，搞不懂自己怎么想的。 面试体验最好的是微软，每一轮的面试官都很nice，会引导你解决他们给出的问题，甚至跟你一起review你的代码，帮你找问题。说真的，这才是模拟真正的工作状态：怎么跟人沟通，寻求别人帮助，一起解决问题。当时面了整整一天，中午饭很好吃。下午是AA面，见到了互联网工程院院长王永东博士。大叔气质真的很好，很有气场。出的题是HMM相关的，刚好项目里学过，解得比较轻松。最后也顺利拿到微软的offer，不过是在苏州，因此也拒了。但就在前几天上海HR打电话说有当地云计算的位置，无奈已经涉及毁约，也就没有去了。错过微软还是蛮可惜的。 微软午饭 后来有一波汽车行业的offer，主机厂、供应商、研究院都有。最后综合考虑决定去上汽做AI，风险其实挺大，看命了。。 经历这次找工作我感觉知道自己想干什么实在太重要了，特别是能力强的人，最后比的基本就是方向和耐力了。还有就是你想在哪，一线城市固然好，但紧抱着不放也确实是没有必要了。不过比较神奇的是本科班同学们这波找工作没有一个留在北京，嗯，把北京留给博士们吧。 在线课程和志愿者 其实很早就有上在线课程了，一开始在清华自己的学堂在线上过几门，去年开始接触Coursera，上了吴恩达老师的Machine Learning。今年大概暑假的时候感觉要充充电，上了宾大GRASP实验室开的几门机器人课程。包括Estimation and Learning,Perception,Computational Motion Planning和Mobility。其中和实验室最贴近的是Mobility，不得不佩服他们的研究水平，很多应该知道的东西我们真的不知道。和我项目最接近的是Estimation and Learning，只可惜讲得比较粗浅。内容最扎实的是Perception，视频贼多，作业也挺花时间。在年底的时候又上了Hinton教授主讲的Neural Networks for Machine Learning。这课真的好，比较全面地介绍了神经网络这门科学。也不得不佩服Hinton教授，一直坚持自己的研究，从ANN的低谷一直坚持到了最近深度学习爆发，一举又成为引领潮流的人物。所以，还是那句话，方向和坚持真的太重要了。 终身学习从我还小的时候就开始讲了，但真正做的人并不是很多。在线教育平台上已经有非常多优质的资源，涵盖面也很广，是非常值得尝试的。 在上机器人系列课程的时候发现没有中文字幕，于是就起了翻译的念头。先是打入中文翻译者社区GTC，然后找到了愿意合作的LC，就开始翻译起来。所以暑假期间基本把自己安排满了，实习、刷题、上课、翻译，还得做实验室的项目。说来也巧，LC也是清华校友，居然还是学机器人的，辈分颇大，目前人在加州做IT行业。除了合作翻译，他还给了我一些职业建议，也是一位非常nice的人。 最终我几乎自己翻译完了Estimation and Learning，后来还当了Perception的组长，招募了一些志愿者一起翻译。这种和世界各地的朋友通过网络协作是从来没有经历过的，感觉很奇妙。可惜后来找工作忙起来又碰上GTC换翻译平台翻译就暂停了，寒假我会争取把Perception弄完的。 奖学金 从没想到自己能拿国奖，不过国庆节收到申请邮件时付老师建议一定要试一试。于是就开始整理材料，有两篇论文打底，加上研一两学期的助教和一次学术会议，东拼西凑还真有点东西。初选的时候排在所里第三，一共三个名额，可能性还挺大的。 答辩的时侯我讲了一些自己上在线课和翻译的事情，没想到老师们都还挺感兴趣，问我感觉国外的课和清华的有什么差别。不留情面地讲，清华有的课实在是太水了，特别是研究生阶段，对教学没有足够的重视，学到的知识太少，做得project太多，作业设计也缺乏参与感。近几年引进的老师越来越多，希望可以带回来优秀的课程设计模式，别把这些好苗子都白瞎了。 答辩之后的最后成绩居然变成了第二名，顺利拿到了国家奖学金，金额可观，名声也好。付出了就会有回报，这句话真是不假，就看你能不能坚持到回报到来的那一天了。 略显混乱的年末 忙完国奖的事就到十月底了，工作也基本定了，寻思着该回到实验室搞搞项目的事情，于是从英特尔离职（九月以后就去的非常少了）。实验室这边有了做SLAM的新任务，还有之前的工作要继续推进，老师也把新招到的本科生派给了我。 为了上海户口求稳，十二月和黄丝一起专程去天津参加了计算机二级考试。报的c++，感觉对自己比较有用。之前都是瞎写，半吊子水平，这次乘着这个机会好好翻了一下《C++ Premier》，还是学到了一些东西的。刚查了成绩，89，差一分优秀，随他去吧。 还有就是这个网站咯，其实从八月份就开始写了，后来忙起来又断了。十一月写了一些，到了十二月底临近元旦放假又来了兴致，咔咔咔连写了好几天，终于基本像个样子。 一些杂事 被超哥等人带入了德扑大门，他们打得挺大的，一群人拿着钱猜手中的两张牌比对手大还是小，一个冲动甚至可以押上几百上千，这种纯粹的赌博的确是一种全新的体验。但打多了感觉这个游戏不太和我胃口，我不明白这样有什么意义，说输钱也很开心我是不相信的，但你赢了就有人要输，应该是个零和的游戏。而且真的会有一种无所谓的感觉，不再珍惜你的钱，感觉这样挺可怕的。真想娱乐和吴老师光头他们打打一毛钱的娱乐局就好了。 统计了一下今年只看了大概25部影视作品。其中比较出彩的是三部电视剧：《信号》，《黑镜》和《西部世界》。书倒是看了几本，《三体》，《人类简史》，《必然》和《思维的形状》都挺不错的。还能静下心来读书是挺值得骄傲的事情。 今年比较遗憾的是基本哪都没去，五一国庆都回家了。倒是去了好几次天津，感觉天津其实还是很不错的。可能是因为来自南方的缘故，感觉一条海河让这座城市有了灵气。 海河沿岸 写在最后 不知不觉写了好长，就这样吧。 2017，希望家人朋友一切都好。