不会飞的章鱼

熟能生巧,勤能补拙;念念不忘,必有回响。

什么是EdgeX

边缘中间件,服务于物理传感和执行“事物”和我们的信息技术(IT)系统之间。

EdgeX架构

设备服务

阅读全文 »

什么是 docker-compose

在 Docker 把容器技术大众化之后,Docker 周边涌现出了数不胜数的扩展、增强产品,其中有一个名字叫“Fig”的小项目格外令人瞩目。
Fig 为 Docker 引入了“容器编排”的概念,使用 YAML 来定义容器的启动参数、先后顺序和依赖关系,让用户不再有 Docker 冗长命令行的烦恼,第一次见识到了“声明式”的威力。
Docker 公司也很快意识到了 Fig 这个小工具的价值,于是就在 2014 年 7 月把它买了下来,集成进 Docker 内部,然后改名成了docker-compose

如何使用 docker-compose

安装

1
2
3
4
5
6
7
8
9
10
# intel x86_64
sudo curl -SL https://github.com/docker/compose/releases/download/v2.6.1/docker-compose-linux-x86_64 \
-o /usr/local/bin/docker-compose

# apple m1
sudo curl -SL https://github.com/docker/compose/releases/download/v2.6.1/docker-compose-linux-aarch64 \
-o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
阅读全文 »

熟悉Docker的使用

查看版本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
$ docker version
Client:
Cloud integration: v1.0.35
Version: 24.0.2
API version: 1.43
Go version: go1.20.4
Git commit: cb74dfc
Built: Thu May 25 21:51:16 2023
OS/Arch: darwin/arm64
Context: desktop-linux

Server: Docker Desktop 4.21.1 (114176)
Engine:
Version: 24.0.2
API version: 1.43 (minimum version 1.12)
Go version: go1.20.4
Git commit: 659604f
Built: Thu May 25 21:50:59 2023
OS/Arch: linux/arm64
Experimental: false
containerd:
Version: 1.6.21
GitCommit: 3dce8eb055cbb6872793272b4f20ed16117344f8
runc:
Version: 1.1.7
GitCommit: v1.1.7-0-g860f061
docker-init:
Version: 0.19.0
GitCommit: de40ad0
  • docker engine版本号 24.0.2
  • 系统是linux
  • 硬件架构是arm64

查看信息

阅读全文 »

背景

采访了一位哈尔滨工业大学毕业的程序员,在上海工作三年,与两位合伙人一起创业做了一个长达十年的项目,有着十几个人的公司,年收入300~400万,相对来说算成功。

采访

你觉得你处在这个年龄层的程序员里面算什么水平?

中等吧,顶多能算中等。

阅读全文 »

首先安装Docker for Mac

Enable Kubernetes

设置里打开Kubernetes,下载会持续一段时间:

验证

1
2
3
4
5
6
7
8
9
10
~  kubectl get nodes
NAME STATUS ROLES AGE VERSION
docker-desktop Ready control-plane 46h v1.27.2

~  kubectl get ns
NAME STATUS AGE
default Active 46h
kube-node-lease Active 46h
kube-public Active 46h
kube-system Active 46h
阅读全文 »

brew安装

1
brew install redis

问题

Could not connect to Redis at 127.0.0.1:6379: Connection refused

1
2
redis-cli
Could not connect to Redis at 127.0.0.1:6379: Connection refused not connected>
阅读全文 »

brew命令安装

1
2
brew install mysql
mysql --version

问题

The server quit without updating PID file (/opt/homebrew/var/mysql/neozhangdeMacBook-Pro.local.pid)

1
2
3
4
5
sudo mysql.server start
Password:
Starting MySQL
.Logging to '/opt/homebrew/var/mysql/neozhangdeMacBook-Pro.local.err'.
ERROR! The server quit without updating PID file (/opt/homebrew/var/mysql/neozhangdeMacBook-Pro.local.pid).
阅读全文 »

7月,终于下定决心给自己买一台MacBook Pro,购买的原因如下:

  • 之前笔记本电脑是装的Ubuntu 20.04 + Mac皮肤,编码没问题,但有时需要微信、Office办公套件的时候,会很麻烦,各种中转;
  • Mac一直想买,但也一直下不定决心,有的人买来很实在,有的人买来是为了装逼 hhh;
  • 尝试做自媒体剪一些视频;
  • 苹果软件生态丰富…

于是乎,开始看各种测评,官网看报价,最终决定上一款 M1 Max + 64G + 2T的配置,当然保险起见买了AC+。

上手3天,觉得MacOS做的还是很细心的,运行软件基本都是秒开,硬件方面给我最大的感触就是屏幕+音响效果,非常棒,看视频有一种在电影院的感觉呢。

软件的话我全部选择了JetBrains系列。

阅读全文 »

整体介绍

crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK,自动进行表单填充并提交,配合智能的JS事件触发,
尽可能的收集网站暴露出的入口。内置URL去重模块,过滤掉了大量伪静态URL,对于大型网站仍保持较快的解析与抓取速度,最后得到高质量的请求结果集合。

crawlergo目前支持以下特性:

  • 原生浏览器环境,协程池调度任务
  • 表单智能填充、自动化提交
  • 完整DOM事件收集,自动化触发
  • 智能URL去重,去掉大部分的重复请求
  • 全面分析收集,包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz
  • 支持Host绑定,自动添加Referer
  • 支持请求代理,支持爬虫结果主动推送

项目整体结构:

阅读全文 »