从四月底到五月初都一直在忙着搬家,加上最近几期All-In播客的内容都干货寥寥,所以笔记也都写得少了一点。
唯二想要call out的note一个是Mark Zuckerberg在Dwarkesh发布Llama 3的时候的采访,另一个是Tony Xu在In Good Company的采访。
Zuck在讲Llama 3的时候提到相比于Llama 2,Llama加了很多「编程」的内容到了训练内容里面。这里面的原因不是因为Llama 3的使用场景会涉及到很多的编程,而是因为他们发现在训练的过程中,加入「编程」会帮助模型在回答问题的时候更加地严谨。Zuck的这段话让我想到有一次跟运营的同事一起去滑雪,我们一起坐缆车的时候,同事跟她的朋友吐槽跟「工程师」交流需要特别严谨,问问题的时候工程师一定会clarify很多问题里面没有提到的一些条件然后做出回答。而且作出的回答也会尽量保持一致性,比如「在A情况下,软件会这么behave,如果是B情况,那就会另一种behavior」。讨论滑雪怎么下山的时候,同事说她们大概看一下,是黑道还是蓝道就好了,工程师还要说清楚具体是哪条道,在哪里接哪里。
Zuck提到加入「编程」的另一点是会帮助大模型训练更好的「推理」能力。比如你跟大模型交流的时候,即使应用场景不是编程,是一个企业的客服。更好的推理能力能够帮助大模型把一个问题转换成对「实现一个目标的」思考,然后进一步变成一个「多步骤」的互动。然后Zuck认为推理能力是大模型在市场上保持竞争力非常重要的一个因素,所以即使Meta的AI产品不直接跟写程序有关,公司也会加大大模型在编程方面的训练。这让我想到前段时间Elon Musk的一条Tweet:「Whoa, I just realized that raising a kid is basically 18 years of prompt engineering 🤯」,他把养育小孩比做Prompt Engineering,进一步延展这个想法,早点学习编程是不是也能帮助小孩更好地掌握「推理事情」的能力呢?
另一个是Tony Xu在Good Company的采访,采访里面提到DoorDash最开始成立的时候,MVP就是一个网站,用户打电话点外卖,电话的另一头是创始人团队成员接到订单之后,亲自去餐馆下单,亲自去餐馆取餐,亲自去把外卖送到客户的手里。当时的「dispatch system」就是几个团队成员用的iPhone的「Find My Friends」,后来的故事大家也都知道了。我也早都知道创业早期特别需要hustle,YC也特别强调过创业初期需要创始人去做「不一定能scale但是客户热爱的生意」,道理都懂。但是随着年纪增长,时间成本和机会成本也都不再像20岁出头的大学生,即是你知道创业一开始很可能要去做「不一定能scale」的事情,但是又有多少决心和勇气去做「外卖骑手」呢?
Notes写完了,最后再说说搬家吧。我老婆说这已经是今年第四次搬家了,去年五月从上海搬回美国刚好过了一年,在旧金山住了一个月搬来了南加的Pasadena,最近又因为不可抗拒的原因从Pasadena搬到了隔壁的South Pasadena。搬家当然是没有人喜欢的,不过这几次搬家的每一次都还是对下一个地方有很不同的期待。我跟好友吐槽,年纪大了搬家好累,有着2.5岁女儿的好友就回了一句「娃更累」,我就闭嘴了。
新家还差一些在路上的大件家具,慢慢已经收拾好了。住了很多年的一居室,一下子搬到了四居室,我跟我老婆都还有些不习惯,不过能有自己的工作间,有车库,还有一个虽然有点荒但还是阳光充足和安静的后院,应该也可以知足了。