分类目录归档：技术

Kubernetes 系列文章概述

Kubernetes系列文章概述

接触，了解 k8s 已经有一段时间了，但由于工作内容没有涉及到，继续阅读 →

INOTIFY – 监听事件

Linux 2.6.13 内核中引入了新的文件系统变化通知机制 inotify ，使用该特性提供的用户态调用 api ，可以方便的完成文件变化监听。

各种语言基本都提供了对该接口的调用方法： C 不必多说， Perl 使用 [Linux::Inotify2](https://metacpan.org/pod/Linux::Inotify2) ， Golang 使用 golang.org/x/sys/unix ， Python 则使用 [pyinotify](https://github.com/seb-m/pyinotify) 即可完成调用。

这里汇总所有相关监听事件，理论上针对所有语言通用：

 *            IN_ACCESS         文件被访问
 *            IN_ATTRIB         文件属性发生变化(文件元数据改变, 如权限, 链接计数, 扩展属性, 用户ID或组ID等)
 *            IN_CLOSE_WRITE      关闭以write方式打开的文件
 *            IN_CLOSE_NOWRITE  关闭以非write方式打开的文件
 *            IN_CREATE         在受监控目录内创建了文件/目录
 *            IN_DELETE         在受监控目录内删除了文件/目录
 *            IN_DELETE_SELF    被监测的文件/目录被删除
 *            IN_MODIFY         文件被修改
 *            IN_MOVE_SELF      移动受监测的文件或目录
 *            IN_MOVED_FROM     文件移出被监测的目录
 *            IN_MOVED_TO         文件移入被监测的目录
 *            IN_OPEN             文件被打开
 * --------- 上述flag的集合
 *            IN_ALL_EVENTS     以上所有flag的集合
 *            IN_MOVE             IN_MOVED_TO + IN_MOVED_FROM
 *            IN_CLOSE          IN_CLOSE_WRITE + IN_CLOSE_NOWRITE
 * --------- 不常用的flag
 *            IN_DONT_FOLLOW      不对符号链接解引用, 监控符号链接自身
 *            IN_MASK_ADD         将事件追加到pathname的当前监控掩码
 *            IN_ONESHOT          只监测一个事件, 事件发生后, 被监控项会从监控列表中消失
 *            IN_ONLYDIR          只监测目录
 *            IN_IGNORED          监控项被内核或应用程序移除
 *            IN_ISDIR          发生事件的是一个目录
 *            IN_Q_OVERFLOW     Event队列溢出
 *            IN_UNMOUNT          文件系统unmount

参考文献

Wiki.js 离线部署方法｜离线拉取语言包

发表评论

最近想在内网搭建一套 Wiki，在调研了各种 wiki 的搭建方式、功能之后，选择了 wiki.js。但是在部署过程中，发现其默认是通过公网拉取语言包等资源，内网安装需要一些特别的方法。

这篇文章就来介绍内网部署 wiki.js 并拉取语言包的方法。

安装方法

按照官网安装方法，可以较快的将整个服务启动起来：

Step1 – 快速启动

# 安装前请确保安装了 node npm
$ apt-get install node npm
# 若内网服务器没有安装，可参考官网二进制离线安装的方法

# 首先获取离线包，可在互联网上下载，拷入内网服务器
$ wget https://github.com/Requarks/wiki/releases/download/2.5.272/wiki-js.tar.gz

# 之后将所有内容解压到一个安装路径，我装在 /opt/wiki 下
$ mkdir wiki
$ tar xzf wiki-js.tar.gz -C ./wiki
$ cd ./wiki

# 下面需要进行配置
$ mv config.sample.yml config.yml
# 按照自己的需求修改配置文件
$ vim config.yml 

# 如果使用 sqlite，在这里完成数据库初始化
$ npm rebuild sqlite3

# 服务启动
$ node server

Step2 – 配置 systemd

官网提供了 systemd 配置文件，直接创建，配置好之后即可使用

nano /etc/systemd/system/wiki.service

[Unit]
Description=Wiki.js
After=network.target

[Service]
Type=simple
ExecStart=/usr/bin/node server
Restart=always
# Consider creating a dedicated user for Wiki.js here:
User=nobody
Environment=NODE_ENV=production
WorkingDirectory=/var/wiki

[Install]
WantedBy=multi-user.target

最后：

$ systemctl daemon-reload
$ systemctl enable wiki
$ systemctl start wiki

# 检查一下是否启动
$ systemctl status wiki

# 查看日志
$ journalctl -xef -u wiki

Step3 – 离线安装语言包

内网环境无法直接下载语言包，此时需要按照如下步骤手动导入语言包：

修改配置文件

首先需要告诉 wiki.js 当前运行在离线环境中，因此在配置文件中进行如下修改：

- offline: false
+ offline: true

之后在安装目录下创建一个文件夹 data/sideload 用来存放离线资源，比如我是安装在 /opt/wiki/ 下，配置文件中配置的数据文件夹为 /opt/wiki/data ，那么我就创建一个新的文件夹 /opt/wiki/data/sideload 即可。

获取语言包

官方提供的语言包资源可以在这里下载：https://github.com/Requarks/wiki-localization

务必下载 locales.json ，之后下载您需要的语言包（如 zh.json ）。

安装

将下载好的 locales.json , zh.json , en.json 等资源拷入上面创建好的文件夹中。

最后重启服务即可：

systemctl restart wiki

参考文献

macOS 使用 remote-viewer 连接 spice ｜ PC 连接 spice 云桌面

发表评论

介绍三种桌面平台下连接 spice 云桌面的方法。

最近需要使用到云桌面办公，但目前仅支持 win 继续阅读 →

macOS 使用 remote-viewer 连接 spice 服务｜ PC 连接 spice 云桌面方法

发表评论

最近需要使用到云桌面办公，但目前仅支持 windows 客户端。后经过询问，发现是使用 spice 协议链接，提供地址后，即可使用第三方客户端链接。

MacOS 平台下没有很好的支持 spice 协议的图形化客户端，但是可以使用 remote-viewer 这个工具，也比较好用，下面介绍安装方法：

# jeffreywildman/homebrew-virt-manager 有些问题
# Krish-sysadmin 对它进行了修复，因此首先卸载参与包和地址
brew remove virt-manager
brew remove virt-viewer
brew untap jeffreywildman/homebrew-virt-manager

# 安装工具
brew tap Krish-sysadmin/homebrew-virt-manager
brew install virt-manager virt-viewer

# 如果缺少某些依赖库，安装后重试即可

# 使用
remote-viewer

输入 spice 地址链接即可。

总结

这次探索走了不少弯路，从尝试各种第三方远程桌面客户端，到 remote-viewer 的安装，工具的安装也遇到不少问题，最后在我的 MacBook Air m1 上成功安装，在这里分享方法。

在 Linux 下可以使用 remmina 这款工具，支持「X2Go RDP SPICE VNC SSH HTTP/HTTPS」。

在 Windows 下则可以使用 virt-mananger 来链接，参考「windows和linux下的spice客户端使用方法」。

至此，Windows、Linux、MacOS 链接 spice 服务的方法介绍完毕。

参考文献

解决 SSH 无操作自动断开 | pychram 超时无响应

发表评论

工作中常需要连接着服务器，下班或暂时离开时会出现一段时间不操作终端，此时就会自动断开。

这本身无伤大雅，重连即可，直到我发现，一些依赖 SSH 提供的服务也会因此受到影响，比如 Pychram 远程开发，会在一段时间后无响应，只能重启 Pychram 解决，很影响效率。

为解决该问题，在网上找到一种配置方法，亲测一夜 (10h+) 不会再断开，在此分享：

众所周知，SSH 是用于与远程服务器建立加密通信通道的，因此配置涉及服务端和客户端：

服务端 /etc/ssh/sshd_config

-#ClientAliveInterval 0  #服务器向客户端发送请求消息的时间间隔，默认为0，不发送
-#ClientAliveCountMax 3  #服务器发出求后客户端没有响应的最大次数，超过后将自动断开。
+ClientAliveInterval 60  #每60秒发送一个KeepAlive请求
+ClientAliveCountMax 15  #总时间为：15*60 ，15分钟没有操作,终端断开。

# 以下任意命令重启 sshd 服务
service sshd reload
service sshd restart
systemctl sshd restart

客户端 ~/.ssh/config

# 修改 ~/.ssh/config 对当前用户生效

# 这样配置通配所有服务端
Host *
  ServerAliveInterval 60

# 指定IP配置
Host *hostname.com    #指定IP
  ServerAliveInterval 60

# 或是全局配置（对所有用户生效）
vim /etc/ssh/sshd_config

+ ServerAliveInterval 60

参考文献

SSH长时间不使用自动断开解决方案

Python 传值 or 传引用

发表评论

先说结论：python不允许程序员选择采用传值还是传引用。

如果函数收到的是一个 可变对象 （比如字典或者列表）的引用，就能修改对象的原始值－－相当于通过“传引用”来传递对象。
如果函数收到的是一个 不可变对象 （比如数字、字符或者元组）的引用，就不能直接修改原始对象－－相当于通过“传值‘来传递对象。

在函数传值，或函数内部函数引用外部变量时，基本符合这个逻辑，比如：

def test_dect_out():
    lvs = {}
    num1 = 3

    def lan():
        lvs['sss'] = 4
        num1 = 5
        return lvs, num1

    print(lvs, num1)
    print(lan())
    print(lvs, num1)

{} 3
({'sss': 4}, 5)
{'sss': 4} 3

参考文献

python函数传参是传值还是传引用？

Python 二进制结构化数据处理和封装

发表评论

当 python 需要调用 C 程序，或是进行文件、网络操作时，需要对二进制结构化字节流进行处理，此时需要使用到 struct 这个模块提供的方法。

详细方法可以查看官方教程，这里以 perl 的 pack 作为对比，使用 python 实现类似 perl 数据打包的效果。

在 perl 的 pack 方法中，提供了一种 Z* 的写法，可以总是保证最后有一位空填充，在 python 中则可以这样实现：

# 类比 perl 的 pack "VVVVZ*", $max, 0, 0, 0, $user;
fmt = "<4lx" + str(len(user) + 1) + "s"  # 类比 perl Z*，总是保证最后有一位空填充
bindata = struct.pack(fmt, maxn, 0, 0, 0, bytes(user, encoding="utf8"))
# 小端序，4个 long （32位整） 后面跟 填充字节 ，然后再拼 字符长度 +1 个 s（字节串）

最后打印出来的效果是这样：

b'tasklist\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00dev\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'

如果直接使用 .format 或是字符拼接 + `.ljust(256, '\000') 之类的方法在后面强行补也是可以实现类似的效果，但是打印出来还是字符对象，不是我希望的字节流对象，而且很繁琐，不专业：

'tasklist                                                                                                                                                                                                                                                        dev                                                                                                                                                                                                                                                             '

大概就是这样，像是中间塞了一堆空格。建议数据打包还是使用 struct.pack 来进行。

基本实现需求。

参考文献

Linux 下的文件锁

发表评论

本文内容为 Linux 系统通用，各个语言实现可能稍有不同，但原理相同。

当多个进程或多个程序都想要修同一个文件的时候，如果不加控制，多进程或多程序将可能导致文件更新的丢失。

例如进程1和进程2都要写入数据到a.txt中，进程1获取到了文件句柄，进程2也获取到了文件句柄，然后进程1写入一段数据，进程2写入一段数据，进程1关闭文件句柄，会将数据flush到文件中，进程2也关闭文件句柄，也将flush到文件中，于是进程1的数据被进程2保存的数据覆盖了。

所以，多进程修改同一文件的时候，需要协调每个进程：

保证文件在同一时间只能被一个进程修改，只有进程1修改完成之后，进程2才能获得修改权
进程1获得了修改权，就不允许进程2去读取这个文件的数据，因为进程2可能读取出来的数据是进程1修改前的过期数据

这种协调方式可以通过文件锁来实现。

文件锁分类

文件锁分两种，

独占锁(写锁)
共享锁(读锁)。

当进程想要修改文件的时候，申请独占锁(写锁)，当进程想要读取文件数据的时候，申请共享锁(读锁)。

独占锁和独占锁、独占锁和共享锁都是互斥的。

只要进程1持有了独占锁，进程2想要申请独占锁或共享锁都将失败(阻塞)，也就保证了这一时刻只有进程1能修改文件，只有当进程1释放了独占锁，进程2才能继续申请到独占锁或共享锁。

但是共享锁和共享锁是可以共存的，这代表的是两个进程都只是要去读取数据，并不互相冲突。

文件锁：flock 和 lockf

Linux上的文件锁类型主要有两种：flock和lockf。后者是fcntl系统调用的一个封装。它们之间有些区别：

flock来自BSD，而fcntl或lockf来自POSIX，所以lockf或fcntl实现的锁也称为POSIX锁
flock只能对整个文件加锁，而fcntl或lockf可以对文件中的部分加锁，即粒度更细的记录锁
flock的锁是劝告锁，lockf或fcntl可以实现强制锁。所谓劝告锁，是指只有多进程双方都遵纪守法地使用flock锁才有意义，某进程使用flock，但另一进程不使用flock，则flock锁对另一进程完全无限制
flock锁是附加在(关联在)文件描述符上的(见下文更深入的描述)，而lockf是关联在文件实体上的。本文后面将详细分析flock锁在文件描述符上的现象

参考文献

Perl IO：文件锁 By 骏马金龙

Perl //= 和 ||= 的区别 | 附实验

发表评论

结论

$var//=2：等价于 defined($var)||2，即 未定义 时才赋值为 2 ，否则不变（即使是或 空字符串 ）
$var||=2 ：除非定义且为 true 才不会赋值，否则赋值（比如或 空字符串 时）为2。

//=

Step-1 空串

$var='';
$var//=2;
print "'$var'\n";

# perl atest4.pl 
''

Step-2 0

$var=0;
$var//=2;
print "'$var'\n";

# perl atest4.pl 
'0'

Step-3 1

$var=1;
$var//=2;
print "'$var'\n";

# perl atest4.pl 
'1'

Step-4 undef

$var=undef;
$var//=2;
print "'$var'\n";

# perl atest4.pl 
'2'

||=

Step-1 空串

$var='';
$var||=2;
print $var;

# perl atest4.pl 
2

Step-2 0

$var=0;
$var||=2;
print $var;

# perl atest4.pl 
2

Step-3 1

$var=1;
$var||=2;
print $var;

# perl atest4.pl 
1

Step-4 undef

$var=undef;
$var||=2;
print $var;

# perl atest4.pl 
2

Frytea's Blog

对月吟诗，煮雪烹茶

分类目录归档：技术

Kubernetes 系列文章概述

INOTIFY – 监听事件

参考文献

Wiki.js 离线部署方法｜离线拉取语言包

安装方法

Step1 – 快速启动

Step2 – 配置 systemd

Step3 – 离线安装语言包

参考文献

macOS 使用 remote-viewer 连接 spice ｜ PC 连接 spice 云桌面

macOS 使用 remote-viewer 连接 spice 服务｜ PC 连接 spice 云桌面方法

总结

参考文献

解决 SSH 无操作自动断开 | pychram 超时无响应

参考文献

Python 传值 or 传引用

参考文献

Python 二进制结构化数据处理和封装

参考文献

Linux 下的文件锁

文件锁分类

文件锁：flock 和 lockf

参考文献

Perl //= 和 ||= 的区别 | 附实验

结论

//=

Step-1 空串

Step-2 0

Step-3 1

Step-4 undef

||=

Step-1 空串

Step-2 0

Step-3 1

Step-4 undef