2016

2016 无限大

posted in MISC, tagged with Life

2016 年年终总结。

Could a neuroscientist understand a microprocessor?

posted in MISC, tagged with Thoughts and Fun

介绍一篇有趣的用神经科学的方法分析计算机处理器的文章。

Disable OS X System Integrity Protection

posted in MISC, tagged with Tools

为何要以及如何来禁用 Mac OS X 的 System Integrity Protection。

Optimization and Assumptions

posted in MISC, tagged with Optimization, Thoughts and Algorithm

从 intuition 的角度介绍了优化问题中常用的一些 assumption 在缺失的情况下会带来一些什么样的困难。

The Volume of High-dimensional Unit Ball

2015

2015 就是这样

posted in MISC, tagged with Life

2015 年年度总结

Denoising Lena

关于知识整理、积累与记忆

posted in MISC, tagged with Thoughts and Tools

关于改善自己知识积累过程的一些想法和尝试的记录。主要结论是需要划分主次和跳出 comfortable zone,积极动脑筋进行整理和归纳。

2014

2014 明天的记忆

posted in MISC, tagged with Life

2014 年年度总结贴。

Softmax vs. Softmax-Loss: Numerical Stability

posted in Machine Learning, tagged with Deep Learning, Optimization and Julia

本文以 softmax 加 multinomial logistic loss 在优化的时候是要一次计算 gradient 还是分开两层计算再用 chain rule 乘到一起这个问题为例子介绍了浮点运算中有可能会碰到的各种上溢和下溢问题。

DRM vs. DRM-free e-Books

posted in MISC, tagged with Reading and Tools

关于 DRM 和 DRM-free 电子书的一些胡思乱想、吐槽和临时解决方案。

Approximation Theory: From Taylor Polynomials to Wavelets

posted in Books, tagged with Approximation and Sparsity

一本从 Approximation Theory 的角度来介绍泰勒级数到傅里叶级数再到 Wavelet 的书的读书简评。

Mosh: the Mobile Shell

posted in MISC, tagged with Tools

介绍一个为移动设备设计的 SSH 的替代工具 mosh。

Projected Gradient Method and LASSO

posted in Machine Learning, tagged with Optimization, Julia, Algorithm, Sparsity and Signal Processing

本文介绍用于求解目标函数光滑、约束集为闭凸集并且投影算子易于计算优化问题的一种叫做 Projected Gradient Method 的算法。利用到凸集的投影算子的性质,我们证明在 Gradient Descent 中添加投影的步骤之后依然能保证算法的收敛性和收敛速度。作为示例,我们介绍了机器学习中常用的 LASSO 模型,并用到信号处理中的一个简单的去噪算法中。

京都书店印象

posted in MISC, tagged with Life and Fun

关于京都的书店们。

Constrained Optimization and Support Vector Machines

posted in Machine Learning, tagged with Optimization

介绍带约束的优化问题,给出了在目标函数和 constraints 皆可导的情况下最优解的充分必要条件的刻画,并以支持向量机作为例子加以说明。

Newton Method

posted in Machine Learning, tagged with Optimization, Julia and Algorithm

介绍了具有 Q-二次收敛性的 Newton Method,并用一个简单的一维函数优化的例子和上一次里的 Logistic Regression 的例子展示了 Newton Method 的优缺点。

Gradient Descent, Wolfe's Condition and Logistic Regression

2013

2013: 我要的幸福

posted in MISC, tagged with Life

2013 年度总结

A Compressed Sense of Compressive Sensing (III)

Deep Learning and Shallow Learning

posted in Machine Learning, tagged with Deep Learning, Survey, Learning Models and Reading

简单 survey 了一下 deep learning,对比 deep learning 和 shallow learning 中前者有哪些优势,为什么 deep learning 会比较有效,以及 deep learning 中存在的困难和问题等。

A Compressed Sense of Compressive Sensing (II)

Julia: A New Language for Scientific Computing

A Compressed Sense of Compressive Sensing (I)

posted in Machine Learning, tagged with Compressive Sensing and Signal Processing

本文简要介绍了 Compressive Sensing(压缩感知)中的基本概念和一些基本结论。由于篇幅限制,作为压缩感知基本概念系列的第一篇,主要介绍了 Spark、Null Space Property 和 Restricted Isometry Property 等感知矩阵的基本性质以及对应情况下所能得到的感知解码结果保证。

Mobile View of Free Mind

posted in Technology, tagged with Webdev

为博客文章添加简化的移动设备友好的页面浏览支持。

Equivalence of Several L1 Sparsity Problem

漫谈 HMM:Kalman/Particle Filtering

posted in Machine Learning, tagged with Algorithm, Probabilistic Graphical Model and Approximation

Kalman Filter 和 Particle Filter 是两种用于处理连续型随机变量的 HMM Inference 算法。前者是 exact 算法,仅适用于 Gaussian 的情况,而后者是 approximation 算法,可以适用于各种 nonlinear 的 dynamics。

Data Processing Inequality

Randomized Algorithms and Cryptography

漫谈 HMM:Forward-Backward Algorithm

漫谈 HMM:Definition

GDrive Introduces 30-sec Sleep Delay in OSX

posted in MISC, tagged with Tools

Google Chrome 里的 Google Drive 离线 app 会引起 OSX 的 sleep 时间被延长到二三十秒。

Towards Paperless Academic Reading

posted in MISC, tagged with Tools

闲谈了一下科技图书电子出版相关的一些事以及 Academic Reading 用的平板设备(Kindle、Nexus 10 和 iPad)和相关的 App 的感受。

Texture Synthesis: Explore Representations of Mind

posted in MISC, tagged with Fun and Talk

介绍 Speech Recognition 课上的一次 Guest Talk,内容是关于人脑对 sound texture 的 representation 的模型假设以及实验验证。还有 Speech 课自己的一些好玩的东西。

2012

2012: The Moment

posted in MISC, tagged with Life

2012 年度总结。

Probabilistic Graphical Model

Noam Chomsky on Where AI Went Wrong

posted in Machine Learning, tagged with Reading and Resource

介绍了 Noam Chomsky 关于近来基于统计模型的各种 AI 以及相关领域的进展和研究方法所提出的批评意见以及一些相关的资料。

Deciding the Number of Clusterings

posted in Machine Learning, tagged with Inference, Unsupervised Learning and Probabilistic Graphical Model

关于聚类算法中类别数目的问题的简要介绍以及几个相关的不需要直接指定类别数目的算法的介绍,最后提及一下一个有趣的通过类似 supervised learning theory 中引入未知概率分布的方法来从不同的视角分析聚类问题。

Randomized Linear Algebra; Tractable Inference

VC Theory: Vapnik–Chervonenkis Dimension

VC Theory: Symmetrization

VC Theory: Hoeffding Inequality

Yet Another Online Machine Learning Course

Regularized Gaussian Covariance Estimation

Recipes for Faster Matlab Code

posted in Programming, tagged with Tools and Matlab

通过一个 Matlab 的 K-medoids 算法实现的例子介绍了编写高效的 Matlab 程序所需要的一些基本的注意事项。

Printable Version (PDF) of this Blog

posted in MISC, tagged with LaTeX and Tools

为本 blog 的文章添加 HTML 和 PDF (通过 LaTeX)双重格式输出。本文简要介绍了我实现这个功能的过程中的一些经历。

Coursera: Education for Everyone

posted in MISC, tagged with Coursera and Online Course

介绍最近开始流行起来的在线课程平台 Coursera 以及相关的一些其他平台和资源。

Policy-based Programming

posted in Programming, tagged with Programming Paradigm, C++ and Google Go

介绍了 C++ 中基于 Policy 的编程范式,用于解决使用传统 OO 框架所不能很好地处理的情况,并简单介绍了一下在其他语言中如何处理类似的情况。

Discriminative Modeling vs Generative Modeling

posted in Machine Learning, tagged with Generative Modeling and Learning Models

简单介绍了 Naive Bayes 和 Logistic Regression 这两种算法,并导出他们模型之间的等价性。然后简单对比了一下 generative modeling 和 discriminative modeling 之间各自的优缺点。

The Unbearable Madness of Static Blog Generators

posted in Technology, tagged with Webdev and Tools

关于几个 static blog generator (bonsai, hyde, jekyll, octopress, ruhoh) 的一些体验、经验和吐槽。

Sparsity and Some Basics of L1 Regularization