第一次参加机器学习大会。 NeurIPS，在San Diego。 第一次坐头等舱。 座位宽敞了一些，提前登机，下机。 甚至自己提前登机，穿过排队的人群时， 还有些害羞。 其他没什么不同。 想起来身边有亿万富翁， 自己也是X万富翁。 但生活习惯并没有什么改变。 或者说，先改变了生活习惯， 财富才会跟随着改变。 会场比想象中的大，人也比想象中的多。 中国人也比想象中的多。 中国人不仅多在参会，也多在论文作者，workshop带领。 近距离见到了诺奖、图灵奖得主，Geoffrey Hinton老爷子。 他提出了backward propagation算法，奠定了机器学习的基础。 老爷子快八十了，精神矍铄，开讲前，在讲台上背着手，踱着步。 讲完后，坐在第一排，垫着高高的垫子。 没过几分钟，就打瞌睡了。 有点像火人节，我很感慨。 几万人，因为共同的爱好，目标，工作，聚在一起。 聊着彼此能公开的最新的发现。 一周之后，散去。 在poster展区，我一开始担心自己听不懂。 结果问了作者几个问题，就把文章的思路捋清了。 其实核心idea都不复杂，或者说，作者讲得深入浅出。 以及我学的快。 很有意思，poster展区里，大家在聊着彼此最新的发现。 我在展区外，复习VAE(varient auto encoder)，SAE(sparse autoencoder)，greenlist redlist(a technique to watermark LLM output)这些基础知识。以及听Ilya的podcast, “pretraining overshoots the target”。 在那个氛围里，自然而然地感到motivated。 很感动，看到了一个手语视觉识别的项目。 提到手语标注的视频资源很少。 也见到了，Kaiming […]