欢迎来到 Free Mind ,这是由 pluskid 所维护的 blog ,主要记录一些机器学习、程序设计以及各种技术和非技术的相关内容。如非特别指明,本站的文章遵循 Attribution-ShareAlike Creative Commons 协议。更多文章索引请浏览 Archive, Categories, 和 Tags。 部分文章前后有一定的关联,也可在 Series 中找到索引。早期的博客文章请参见 Free Mind 2009~2012Free Mind 2007~2009。博客内容仅代表个人观点,与雇主无关。

AI and Language

最近机器学习中各种诸如 BERT、BigGAN 之类的性能上的突破似乎都有一定的“大力出奇迹”的成分在里面,除了计算资源之外,训练数据的数量和质量都需求巨大。虽然这些进展令人振奋人心,但是往前看的话,头几年深度学习带来的 AI 狂热似乎前进开始慢下来,虽然不知道前路是会一举突破还是寒冬将至,但是相信大部分人都不会反对以当前已有的技术和模型来看,实现真正的 AI 还需要一些质的突破。当然本文并不是试图要去解答这个未来方向的问题,我也没有能力去做这样的解答,只是突然想到语言的出现似乎是人类进化史上的一件重要事件,或者甚至是最为重要的事件之一可能都不为过。然后顺势想到了一些与 AI 有所关联的东西,就想要分享一下,以下内容完全是胡思乱想的结果,并没有特别严谨的科学依据或者调研,因为我对 language、linguistics、传统 AI 等这些领域都不是特别熟悉,所以有可能会对一些非常相关的已知的结果或理论有不少遗漏的地方。

在讨论(人类)语言之前,不妨先简单回顾一下 AI 的发展历程。AI 诞生的标志性事件是 1956 年的达特茅斯会议,Marvin Minsky、John McCarthy 还有老一辈的 Claude Shannon 等人聚到一起讨论模拟智能和学习的课题,Proposal 上首次出现了 Artificial Intelligence 这个词,当然,Proposal 里写的是要立一个长达两个月,多达十人的研究小组来解决这个叫做 Artificial Intelligence 的问题。后来的事情大家都知道了,AI 经历了两次繁荣和两次寒冬,目前正借助统计学习,特别是深度学习的热度处在第三次繁荣或者说泡沫之中,相信目前大部分人都对过去的 AI 历史没有太多兴趣,这里也就不多深入了。只是有一点比较有意思的地方就是 Modern AI 和传统 AI 之间的分界线:也就是基于符号逻辑的系统和基于统计学习的系统之间的划分。这种对立在一些传统 AI 和现代 AI 都在尝试解决的课题——比如象棋、围棋、或者不同人类语言之间的自动翻译等等——上面就体现得尤为明显。

当然就目前来看,data driven 的基于统计学习的方法可以说是在各个领域全面战胜传统的基于逻辑和规则的系统。那是否就是说传统 AI 的框架一无是处呢?也许也不是。通常认为,传统 AI 是所谓的演绎 (deductive) 思维方式,给定一些规则,推演出结论,最典型的例子就是所谓的三段式演绎法;另一方面,统计学习则是所谓的归纳 (inductive) 思维方式,给定一系列 observation,从中总结出规律。

封闭的内容平台

最近 G+ 的关闭在即,虽然 G+ 一直是个比较失败的产品,我自己对他也并没有任何好感,但是近些年每次 G 关闭一个产品,总会让人联想起 Google Reader 被关闭的事情,很是唏嘘。实际上后来也出现了不少 Google Reader 的替代品,但是时代也早已不一样了,博客内容分享的方式已经开始谢幕。博客和基于 RSS 等内容订阅的方式当然也有它的各种不足,最大的缺失就是读者与作者之间的交互,以及读者之间的讨论的支持等等。所以后来的一些社交网络平台演化,从各种不同的角度解决了这些问题,另外内容本身也更加多媒体化,增强了表现能力,所以从技术上来讲无疑是在不断的进步。

但技术进步的同时,其他方面却多少有点让人担忧。内容本身正在逐渐变成“精神毒品”类似物(比如情绪刺激很强烈、能迅速获得刺激感、上瘾,以及“抗药性”导致越来越无法满足自己等等)的问题感觉已经是众所周知了,所以今天也就不再多说这个。这个趋势对于读者的影响基本上是越来越趋向于阅读短小(比如各种微博客平台的那个内容长度)、各种感官全面刺激(比如从文字到图文、再到视频的转变趋势)、以及刷起来就停不下来,但是又越刷越空虚之类的感觉,甚至把这几个方面结合起来还有诸如“XX 分钟看完 XXX 电影”的视频内容格式(也许再加上二倍速播放?)正在变得异常火爆,再配合上根据个人偏好的定制毒品定制内容投送的逐渐成熟——我相信很多人应该都和我一样理解其中的问题,但是却仍然在 struggle 中无法做到完全免疫,我想这就是为什么应该称之为精神毒品吧。另一方面对于内容创作者产生的影响也是非常深远的,为了让毒品更有效,除了迎合趋势在内容长度、形式上进行改进之外,更多的是需要将内容本身的情绪化刺激最大化,毕竟读者们每天需要批阅的“奏章”无数,于是乎各种煽情、标题党、甚至到为了制造大新闻,各种夸张事实、混淆视听,以及完全是假新闻和故事的情况也就接踵而至了。

不过今天主要想说一下另一个话题,更多的是关于传统内容(书籍、音乐、电视电影等等)的分发平台的。这方面近些年来的主要变化一个是音乐、电影等原本就是数字化的内容的分发形式从原来的物理媒介(CD、DVD 之类的)逐渐转向 streaming 和订阅服务的形式;而书籍则逐渐开始电子化,虽然可能“逐本购买”的方式还仍然是主流,但是类似于音乐电影那样的订阅到平台,然后无限看的方式也越来越开始普及。看起来这样的趋势似乎是完美解决了出版商控制盗版的问题,又极大地方便了读者和观众,一举两得,但是实际上却有很多问题。

2018 世说心语

每一夜 月阴缺
我学会 不完美的美
心跳声 在周围
催促我 有梦去追
我又起飞了 我是自由的
随风旋转着 开心唱着歌

去年年末结束学生生涯之后,开始“踏入社会”,2018 年对我来说是一个新的开始。但是年底回顾的时候发现,大概这整个一年其实是新生活的一个悠长序章呢!也许我自己都没有发觉我对已经远去的学生生活的极度留恋,而这种留恋则以对新生活的抗拒的形式表现出来。当然,反过来我的叛逆新生活的心理,也为我提供了一定的缓冲和保护作用,让我不至于突如其来地去体味步入社会之后的生活负担和烦恼。客观来讲,还是很正面的一个序章啦!而且我还实现了去年的新年愿望——成为了一个可以独立开车的人。😛

Expressionism and Inceptionism

我们在前一篇文章中提到,artwork,特别是比较近现代的 artwork 中的一个重要元素就是 beholder‘s share,原因在于我们人在 perceive visual stimuli 的时候,实际上在做一个 interpretation 或者甚至是 hypothesis testing 的工作,其最终结果取决于观众自己脑补过程中添加的元素。

而 beholder’s share 重要的另一个原因则在于,artwork 本身以物理世界的一种实体的方式存在,在构造过程中受到很多 constraints,其媒体形式能承载的信息量也受到限制,因此即使艺术家希望把自己的想法原封不动地传达给观众而忽略所有 beholder’s share,在我们发明人对人的意识直接拷贝技术之前,应该都是非常困难的。

Contemporary Art, Brain Science and AI — Introduction

在哥本哈根的丹麦国家艺术画廊里有这么一个小楼梯,路标箭头写着“超现实主义”,仿佛在挑战你的胆量。我不禁在想,是否这个路标本身也是一件现代艺术作品?

对于现代艺术,大概跟我一样对其非常纠结的人不算少数。如果不小心去了一个现代艺术博物馆,也必须得小心翼翼地分辨哪些是真正的艺术品哪些是工作人员临时摆在那里的杂物。时不时会在社交网络上传播的“尝试区分抽象艺术作品和五岁小孩的涂鸦”的挑战游戏,据说连许多专业人员也碰到了困难(反正我是只能随机猜)。我有一阵子甚至认真在互联网上搜索了一下,整个现代艺术行业是不是基于明星效应进行吹捧和运作的一个社会大阴谋,或者甚至是某种洗钱的工具之类的……不过并没有找到什么类似的阴谋论。

那为什么要写这篇博客呢?莫非是某个特殊的宇宙射线击中了我的脑袋,让我某天突然茅塞顿开,理解了现代艺术?当然不是,实际上我现在依然对于现代艺术、当代艺术、抽象艺术、后现代艺术这些是傻傻分不清的。不过去年暑假的时候一位友人向我推荐了两本书。出自于同一个作者 Eric Kandel,他在 2000 年基于在神经元的记忆机制方面的研究成果获得诺贝尔生理学·医学奖。两本书分别是 2012 年出版的《The Age of Insight: The Quest to Understand the Unconscious in Art, Mind, and Brain, from Vienna 1900 to the Present》和 2016 年出版的《Reductionism in Art and Brain Science: Bridging the Two Cultures》。

对现代艺术比较有了解的同学可能能认出两本书的封面分别是 Gustav KlimtMark Rothko 的代表作。看完了这两本书之后我也具有了这样的技能(认出这两幅画),但是真正对于现代艺术的理解,却还是有点无力。不过我觉得这两本书提出了一个非常有趣的视角,就是艺术与认知科学之间的联系;虽然并没有一下子打通我的任督二脉,让我彻底理解了现代艺术,但是让我找到了一些着力点,帮助我去思考现代艺术乃至于更加 general 的艺术本身。所以在希望写这篇博客来介绍着两本书,同时借题展开,聊一些我自己的想法。现代艺术现在已经发展到包罗万象,比如这罐价值约三十万欧元的艺术家的屎,不过我们这里只限于讨论绘画艺术,或者说 visual arts。

2017 风衣

当时禁不起 你我情绪的暴雨 后来美如一场风景
是年纪的笔 不知不觉地改写自己
把晴空万里 搬进我的世界里 听歌 餐叙 旅行
快乐与伤心 一一沉淀安静成四季
像候鸟飞去 留下了一个北极 我把太阳大声叫醒
还一身率性 穿上风衣我推门出去 找寻星星

2017 是我漫长的学生旅途的终结,也是一段全新的旅程的开始。寒假回家从国内买了一大堆音乐相关的书的便宜影印版,难得一年续签证意外地顺利,也难得一年没有顺道再去一次杭州,二月回到波士顿迎接大雪,兴致勃勃地堆了雪人。三月找工作。四月去法国开会,很幸运地得了 best paper,也认识了一些新朋友。由于赶回来写毕业论文,会议结束之后立刻就回了美国。五月赶一篇论文未果。六月写 PhD Thesis 和玩塞尔达荒野之息,顺便还去了一趟和 MXNet 小伙伴门一起的夏令营。七月到九月跑去伦敦实习,满欧洲地跑。十月回波士顿答辩。十一月放空,时隔五年再去滑了一次雪,摔疼了屁股,画了很多画,也录了悲怆的第二乐章。十二月从东岸飞到西岸,在悠闲的节日气氛中入职,找房子装家具,赶在年末的尾巴上去了一趟死亡谷的 Road Trip,以及在年末的尾巴尖上去了一趟夏威夷看 Lava!

Distributed Learning in Julia

我之前在这里介绍过 Julia 这个语言,提到了它的许多好的(和不好的)特性,不过有一点没有提到的是它方便的并行和分布式计算的能力,结合优质的数值计算能力,其实让它非常方便用于做分布式数据处理——比如 distributed optimization、learning 之类的任务。虽然 Julia 这些年一直在稳步发展并且每个版本都会 break 一些东西,让人需要不断地维护和修改代码有点心累,同时 community 里的第三方库也还不够强大,不过最近在做一点点 distributed optimization 相关的东西中体会到它在这方面的好处,在这里简单分享一下。一方面因为 Julia 的文档虽然比较全,但是似乎还是比较难找到一个完整的例子。本文相关的完整代码会放在这里

Plotting 3D Surfaces in Python

最近需要 visualize 一些三维的曲面数据,于是简单调查了一下 Python 绘制三维曲面的一些常用的办法,贴在这里以免自己将来再需要用到的时候又想不起来了。比如我们想要画这个样子的 3D 曲面图。

2016 无限大

那一年留在膝盖粉红的伤疤 还刻着
那些在学会奔跑疼痛的过程 都过了
好几年终于碰到肩膀的长发 刺刺的
我要的 爱情在距离永恒最靠近那次 毁灭了
像一篇还没懂得分辨谎言的 笨心得

朋友们开始问起我今年准备用哪一首歌的时候,我发现 2016 年又到了尾巴上。现在发在博客上的文章数量越来越少,以至于都快要只剩下年度总结了,不过至少年度总结是要认真写的。我想以一张今年的照片开头,但是好像虽然一年只在一转眼,要用单单一张照片来总结也还是不容易,于是就随便找一次喜欢的经历吧:深秋踩着冰凉的浪在沙滩上疯跑,裤子湿透了,爬满沙子。

Could a neuroscientist understand a microprocessor?

最近看到一篇有趣的文章叫做 Could a neuroscientist understand a microprocessor? (DOI: 10.1101/055624)。讲的是用神经科学的分析方法来把计算机微处理器当做一个黑盒子来研究。这让我想起之前听过的一个 talk,里面有提到这篇叫做 A search for life on Earth from the Galileo spacecraft 的文章。