Posts List

新的GPU服务器环境配置--Ubuntu18.04+CUDA10.0+cuDNN7.6.5+TensorFlow2.0安装笔记

第一次安装CUDA的过程简直抓狂,中间出现了很多次莫名其妙的bug,踩了很多坑。比如装好了CUDA重启后进不去桌面系统了,直接黑屏、比如鼠标键盘都不work了、再比如装好了却安装不了TensorFlow-GPU……看了一圈网上的安装教程,发现还是官方指南真香了~ 新年第一篇,分享一下我的Ubuntu 18.04 + CUDA 10.0 + cuDNN 7.6.5 + TensorFlow 2.0 安装笔记,希望可以帮助大家少踩坑。 整个安装流程大致是:安装显卡驱动 -> 安装CUDA -> 安装cuDNN -> 安装tensorflow-gpu并测试。

在XGBoost和LightGBM中自定义损失函数

在LightGBM和XGBoost中的自定义损失函数(Custom Loss Function)。

ESoWC 2019 Proposal: An AutoML Framework for Predicting Extreme Weather Hazards

今年参加ESoWC 2019写的一个Proposal: An AutoML Framework for Predicting Extreme Weather Hazards.

Subprocess模块

subprocess 模块允许你生成新的进程,连接它们的输入、输出、错误管道,并且获取它们的返回码。此模块可以代替一些老旧的模块与功能,如os.system, os.spawn, os.popen()等。

Hive学习整理

Hadoop 大数据仓库 Hive:自动将 SQL 生成 MapReduce 代码。

机器学习中的概念漂移(Concept Drift)

机器学习中的概念漂移(Concept Drift)的理解与解决方法。

用贝叶斯优化进行超参数调优

超参数调优一直是机器学习里比较intractable的问题,繁多的超参数以及指数型爆炸的参数空间,往往让人无从下手。调参是一个很枯燥的过程,而且最后也不一定有很好的reward。很多的机器学习工程师也会戏称自己是”调参民工”,”炼丹师”……

RNN, LSTM和GRU

普通的RNN对短时记忆比较敏感,如果输入序列很长,在反向传播期间,RNN 会面临梯度消失和梯度爆炸的问题。为解决这个问题,人们对RNN进行了很多改进,其中最有效的改进方式是引入门控机制, 于是就有了LSTM和GRU。

用python下载文件的若干种方法汇总

Python装饰器

Python装饰器的常见用法。所谓的装饰器,其实就是通过装饰器函数,来修改原函数的一些功能,使得原函数不需要修改。