yoyo

发表于 分类于 阅读次数： 本文字数： 392 阅读时长 ≈ 1 分钟

1. 混淆矩阵（confusion matrix）介绍

在基于深度学习的分类识别领域中，经常采用统计学中的混淆矩阵（confusion matrix）来评价分类器的性能。

它是一种特定的二维矩阵：

  • 列代表预测的类别；行代表实际的类别。
  • 对角线上的值表示预测正确的数量/比例；非对角线元素是预测错误的部分。

混淆矩阵的对角线值越高越好，表明许多正确的预测。

特别是在各分类数据的数量不平衡的情况下，混淆矩阵可以直观的显示分类模型对应各个类别的准确率。

ref: https://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html

2. 混淆矩阵示列

  • 数据集： MNIST
  • tensorflow,keras,
  • 神经网络：CNN

依赖：keras，matplotlib，numpy，seaborn，tensorflow，sklearn

阅读全文 »

发表于 分类于 阅读次数： 本文字数： 324 阅读时长 ≈ 1 分钟

Jupyter Lab 是 Jupyter Notebook 的下一代升级版，界面相对更友好，功能也更强大，更像一个IDE了。

可以到这个页面 https://jupyter.org/try 试用一下。

0. 安装jupyterlab

1
pip install jupyterlab

1. jupyterlab的三种打开方式（windows）

阅读全文 »

发表于 分类于 阅读次数： 本文字数： 349 阅读时长 ≈ 1 分钟

准备

  • 需要两个 github 仓库：
    • 一个用于发布页面： shenbo.github.io
    • 一个用于放源码： hexo-source
  • Travis CI 账户 (https://www.travis-ci.org/)

1. 创建 hexo-source 仓库

  • 在hexo的根目录下（ ~/hexo）运行：
1
2
3
4
5
6
7
8
cd hexo

git init
git add .
git commit -m "first commit"
git remote add origin https://github.com/shenbo/hexo-source.git

git push -u origin master

2. Travis CI 与 Github 设置

2.1 打开 Github 个人设置，创建授权 tokens

2.2 设置 Travis CI 与 Github 绑定

  • 将 Travis 账号 与 Github绑定，激活 hexo-source仓库的开关
  • 打开仓库设置，在 Environment Variables 选项中新建 github_token 项,将刚刚获得的token填进去
  • 其他默认选项不用管
阅读全文 »

发表于 分类于 阅读次数： 本文字数： 0 阅读时长 ≈ 1 分钟

发表于 分类于 阅读次数： 本文字数： 362 阅读时长 ≈ 1 分钟

1. Selenium

Selenium 是一个JavaScript框架，调用 webdriver 模拟在浏览器内的操作，可以适用 Chrome、 Firefox 、IE 等浏览器。

本文用的是 PhantomJS，一个在可以后台运行的无头浏览器(Scriptable Headless Browser)。

  • PhantomJS 项目目前已经暂停更新。
  • Selenium 推荐用 Chrome 或 Firefox 的无头模式。
  • 但 chromedriver 无头模式启动时，还是会有一个空白的命令行窗口，比较讨厌，因此还是用 PhantomJS。
阅读全文 »

发表于 分类于 阅读次数： 本文字数： 940 阅读时长 ≈ 3 分钟

1. 用 matplotlib animation 绘制动画

ref: https://matplotlib.org/3.1.1/api/animation_api.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
import matplotlib.animation as animation
import matplotlib.pyplot as plt
import numpy as np

# 数据集：X轴数据固定；Y轴的数据更新
X = np.arange(0, 10, 0.01)  # X shape： (N,)
Ys = [np.sin(X + k / 10) for k in range(100)]  # Ys shape： (k, N)


def my_ani(x, ys):
    fig, ax = plt.subplots()
    ax.set_title('y = sin(x + k/10)')
    ax.set_xlim([0, 10]), ax.set_xlabel('X')
    ax.set_ylim([-1, 1]), ax.set_ylabel('Y')

    line, = ax.plot(x, ys[0])
    ano = plt.annotate('k: 0', (1, 1))

    def animate(i):
        line.set_ydata(ys[i])       # update the y data.
        ano.set_text('k: %d' % i)  # update the annotate.
        return line,

    # animation.FuncAnimation 参数说明
    # fig:          figure 对象
    # func:         动画函数，自定义函数 animate
    # frames:       总帧数
    # interval:     间隔时间，ms
    ani = animation.FuncAnimation(fig, animate, frames=30, interval=50)
    # ani.save('sin_ani.mp4', dpi=300, writer='ffmpeg')     # scoop install ffmpeg
    # ani.save('sin_ani.gif', dpi=300, writer='pillow')     # pip install pillow
    plt.show()


my_ani(X, Ys)

阅读全文 »

发表于 分类于 阅读次数： 本文字数： 940 阅读时长 ≈ 3 分钟

1. 用 matplotlib animation 绘制动画

ref: https://matplotlib.org/3.1.1/api/animation_api.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
import matplotlib.animation as animation
import matplotlib.pyplot as plt
import numpy as np

# 数据集：X轴数据固定；Y轴的数据更新
X = np.arange(0, 10, 0.01)  # X shape： (N,)
Ys = [np.sin(X + k / 10) for k in range(100)]  # Ys shape： (k, N)


def my_ani(x, ys):
    fig, ax = plt.subplots()
    ax.set_title('y = sin(x + k/10)')
    ax.set_xlim([0, 10]), ax.set_xlabel('X')
    ax.set_ylim([-1, 1]), ax.set_ylabel('Y')

    line, = ax.plot(x, ys[0])
    ano = plt.annotate('k: 0', (1, 1))

    def animate(i):
        line.set_ydata(ys[i])       # update the y data.
        ano.set_text('k: %d' % i)  # update the annotate.
        return line,

    # animation.FuncAnimation 参数说明
    # fig:          figure 对象
    # func:         动画函数，自定义函数 animate
    # frames:       总帧数
    # interval:     间隔时间，ms
    ani = animation.FuncAnimation(fig, animate, frames=30, interval=50)
    # ani.save('sin_ani.mp4', dpi=300, writer='ffmpeg')     # scoop install ffmpeg
    # ani.save('sin_ani.gif', dpi=300, writer='pillow')     # pip install pillow
    plt.show()


my_ani(X, Ys)

阅读全文 »

发表于 分类于 阅读次数： 本文字数： 940 阅读时长 ≈ 3 分钟

1. 用 matplotlib animation 绘制动画

ref: https://matplotlib.org/3.1.1/api/animation_api.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
import matplotlib.animation as animation
import matplotlib.pyplot as plt
import numpy as np

# 数据集：X轴数据固定；Y轴的数据更新
X = np.arange(0, 10, 0.01)  # X shape： (N,)
Ys = [np.sin(X + k / 10) for k in range(100)]  # Ys shape： (k, N)


def my_ani(x, ys):
    fig, ax = plt.subplots()
    ax.set_title('y = sin(x + k/10)')
    ax.set_xlim([0, 10]), ax.set_xlabel('X')
    ax.set_ylim([-1, 1]), ax.set_ylabel('Y')

    line, = ax.plot(x, ys[0])
    ano = plt.annotate('k: 0', (1, 1))

    def animate(i):
        line.set_ydata(ys[i])       # update the y data.
        ano.set_text('k: %d' % i)  # update the annotate.
        return line,

    # animation.FuncAnimation 参数说明
    # fig:          figure 对象
    # func:         动画函数，自定义函数 animate
    # frames:       总帧数
    # interval:     间隔时间，ms
    ani = animation.FuncAnimation(fig, animate, frames=30, interval=50)
    # ani.save('sin_ani.mp4', dpi=300, writer='ffmpeg')     # scoop install ffmpeg
    # ani.save('sin_ani.gif', dpi=300, writer='pillow')     # pip install pillow
    plt.show()


my_ani(X, Ys)

阅读全文 »

发表于 分类于 阅读次数： 本文字数： 79 阅读时长 ≈ 1 分钟

问题

XPS13 9370用了之后发现屏幕亮度会随显示内容而自动调节。调节机制太弱智，眼睛都要瞎了。

解决方案：

  • 开机后立即点 F2，进入Bios，我的版本是1.10.0
  • 找到 Video - Dynamic Backlight Control，然后选择 Disabled， 然后单击右下角 Apply
  • OK !
阅读全文 »

发表于 分类于 阅读次数： 本文字数： 147 阅读时长 ≈ 1 分钟

matplotlib marker 类型字符对照

ref: https://matplotlib.org/stable/api/markers_api.html
ref: https://matplotlib.org/stable/gallery/lines_bars_and_markers/marker_reference.html#sphx-glr-gallery-lines-bars-and-markers-marker-reference-py

1
2
3
4
5
6

unfilled_markers = (',', '1', '2', '3', '4', '+', 'x', '|', '_') 
unfilled_markers = (0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11)           # int
filled_markers = ('.', 'o', 'v', '^', '<', '>', '8', 's', 'p', '*', 'h', 'H', 'D', 'd', 'P', 'X')


阅读全文 »

发表于 分类于 阅读次数： 本文字数： 147 阅读时长 ≈ 1 分钟

matplotlib marker 类型字符对照

ref: https://matplotlib.org/stable/api/markers_api.html
ref: https://matplotlib.org/stable/gallery/lines_bars_and_markers/marker_reference.html#sphx-glr-gallery-lines-bars-and-markers-marker-reference-py

1
2
3
4
5
6

unfilled_markers = (',', '1', '2', '3', '4', '+', 'x', '|', '_') 
unfilled_markers = (0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11)           # int
filled_markers = ('.', 'o', 'v', '^', '<', '>', '8', 's', 'p', '*', 'h', 'H', 'D', 'd', 'P', 'X')


阅读全文 »

发表于 分类于 阅读次数： 本文字数： 733 阅读时长 ≈ 3 分钟

ref: (https://github.com/lukesampson/scoop)

1. 安装 scoop

1
set-executionpolicy remotesigned -s cu
  • 1.3 安装 scoop
1
iex (new-object net.webclient).downloadstring('https://get.scoop.sh')
阅读全文 »

发表于 分类于 阅读次数： 本文字数： 459 阅读时长 ≈ 2 分钟

runcat-pyqt5-win

RunCat是一款 mac应用，用奔跑的猫来显示当前系统资源（CPU）占用情况。

但是只有mac版，于是用python撸了一个，可以在windows任务栏（通知区域）养猫。

首先用psutil
获得CPU或内存的使用情况，然后用pyqt5创建QSystemTrayIcon显示在任务栏的托盘区域。

GPU的使用情况可以用 nvidia-ml-py, https://pypi.org/project/nvidia-ml-py/
的pynvml模块（仅限nvidia gpu）。

阅读全文 »

发表于 分类于 阅读次数： 本文字数： 683 阅读时长 ≈ 2 分钟

2019年升级了装备 XPS 9370，但是 Solidworks 2014使用时非常卡。
XPS 9370 配置的是 Intel UHD 620 集显，公司还有个笔记本是 ThinkPad New S2，是HD 620显卡，solidworks 却不卡。

解决办法：改注册表

将 Solidworks 2016 原有的显卡系列随便选一个导出来，然后用文本编辑器打开，将显卡系列的名称（如 HD Graphics）改为 UHD Graphics 620，Workarounds 值改为 00000009。

或直接将以下导入注册表。

1
2
3
4
5
6
7
8
9
10
Windows Registry Editor Version 5.00

[HKEY_CURRENT_USER\Software\SolidWorks\SOLIDWORKS 2016\Performance\Graphics\Hardware\Intel\Intel(R) UHD Graphics 620]
"Workarounds"=dword:00000009

[HKEY_CURRENT_USER\Software\SolidWorks\SOLIDWORKS 2016\Performance\Graphics\Hardware\Intel\Intel(R) UHD Graphics 620\V001_FG_X614105256_V815102256]
"Workarounds"=dword:10000480

[HKEY_CURRENT_USER\Software\SolidWorks\SOLIDWORKS 2016\Performance\Graphics\Hardware\Intel\Intel(R) UHD Graphics 620\V002_FG_V815102345]
"Workarounds"=dword:10000080

以下方法已失效！

在网上搜了一圈大致有以下几个解决方法：

  • 一、在 Solidworks 的选项里，勾选启动 OpenGL 软件加速；
    • 找到了 OpenGL 选项，发现默认是已勾选的，状态还是灰色的，根本改不了；
阅读全文 »

发表于 分类于 阅读次数： 本文字数： 575 阅读时长 ≈ 2 分钟

1.硬件安装

前一段用 tensorflow 玩深度学习，笔记本只能跑个 mnist，再大点的模型都跑不动。
试了腾讯云、极客云，用着也不方便。

还是上显卡吧！

  • 本来一门心思想买1080，看着看着RTX20系列出了，买新不买旧，那就买2070吧。
  • 学校有个台式机是dell optix 7020，小机箱，原装电源只有～300w。还得换个电源。
  • 机械硬盘还得再换个ssd。。。
阅读全文 »

发表于 分类于 阅读次数： 本文字数： 486 阅读时长 ≈ 2 分钟

前一段做试验，需要远程监控现场的电脑；
写了一个定时截屏并把图片发送至邮箱的脚本，这样微信就可以得到通知。

1. 截屏，并保存图片

1
2
3
4
5
6
7
from PIL import ImageGrab
import time

time_now = time.strftime('%Y%m%d-%H%M%S')
pic = ImageGrab.grab()
pic_name = time_now+'.jpg'
pic.save(pic_name)

2. 定时任务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import threading

def func():
    t = time.localtime(time.time())
    min, hour, wkday = t.tm_min, t.tm_hour, t.tm_wday
    # --------add tasks here--------------------------
    if min in [0, 15, 30, 45]:
        print('tasks')   
    # --------tasks end----------------------------

    global timer
    timer = threading.Timer(60, func, [])
    timer.start()


timer = threading.Timer(1, func, [])
timer.start()

阅读全文 »

发表于 分类于 阅读次数： 本文字数： 179 阅读时长 ≈ 1 分钟

处理excel数据时遇到了个问题，数据导出来总是不全。

后来发现是 *.xls 格式的问题：

xls格式 最大行数为65535

xlsx格式 最大行数为1048576（满足要求了）

而且xlsx文件大小只有原来的1/3左右。

但是手上有一大堆旧的xls文件需要转换。

解决方法：

安装pywin32

1
pip install pywin32

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import os
import os.path
import win32com.client as win32

## 根目录
rootdir = u'E:\\temp1'
# 三个参数：父目录；所有文件夹名（不含路径）；所有文件名
for parent, dirnames, filenames in os.walk(rootdir):
    for fn in filenames:
        filedir = os.path.join(parent, fn)
        print(filedir)

        excel = win32.gencache.EnsureDispatch('Excel.Application')
        wb = excel.Workbooks.Open(filedir)
        # xlsx: FileFormat=51
        # xls:  FileFormat=56,
        wb.SaveAs(filedir.replace('xls', 'xlsx').replace('XLS', 'xlsx'), FileFormat=51)
        wb.Close()                                 
        excel.Application.Quit()

发表于 分类于 阅读次数： 本文字数： 139 阅读时长 ≈ 1 分钟

在vps上安装jupyter，设置远程访问。

0. 安装jupyter

1
pip install jupyter

1. 生成密码

打开python：

1
2
from notebook.auth import passwd
passwd()

根据提示输入密码，得到类似下面的密文：
‘sha1:ce23d945972*********’
复制下来。

2. 生成配置文件：

1
2
jupyter notebook --generate-config
# 生成完可以看到配置文件的存储位置

3. 修改配置文件

sudo nano jupyter_notebook_config.py

1
2
3
4
c.NotebookApp.ip = '*'
c.NotebookApp.password = u'sha:ce..粘贴密文..'
c.NotebookApp.open_browser = False 
c.NotebookApp.port = 3333

4. 启动jupyter

1
nohup jupyter notebook  &

5. 远程登录

试试打开 http://xxx.xxx.xxx.xxx:3333
输入第一步设置的密码即可