什么是 docker-compose

在 Docker 把容器技术大众化之后，Docker 周边涌现出了数不胜数的扩展、增强产品，其中有一个名字叫“Fig”的小项目格外令人瞩目。
Fig 为 Docker 引入了“容器编排”的概念，使用 YAML 来定义容器的启动参数、先后顺序和依赖关系，让用户不再有 Docker 冗长命令行的烦恼，第一次见识到了“声明式”的威力。
Docker 公司也很快意识到了 Fig 这个小工具的价值，于是就在 2014 年 7 月把它买了下来，集成进 Docker 内部，然后改名成了docker-compose。

如何使用 docker-compose

安装

1
2
3
4
5
6
7
8
9
10

# intel x86_64
sudo curl -SL https://github.com/docker/compose/releases/download/v2.6.1/docker-compose-linux-x86_64 \
          -o /usr/local/bin/docker-compose

# apple m1
sudo curl -SL https://github.com/docker/compose/releases/download/v2.6.1/docker-compose-linux-aarch64 \
          -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

熟悉Docker的使用

查看版本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

$ docker version
Client:
 Cloud integration: v1.0.35
 Version:           24.0.2
 API version:       1.43
 Go version:        go1.20.4
 Git commit:        cb74dfc
 Built:             Thu May 25 21:51:16 2023
 OS/Arch:           darwin/arm64
 Context:           desktop-linux

Server: Docker Desktop 4.21.1 (114176)
 Engine:
  Version:          24.0.2
  API version:      1.43 (minimum version 1.12)
  Go version:       go1.20.4
  Git commit:       659604f
  Built:            Thu May 25 21:50:59 2023
  OS/Arch:          linux/arm64
  Experimental:     false
 containerd:
  Version:          1.6.21
  GitCommit:        3dce8eb055cbb6872793272b4f20ed16117344f8
 runc:
  Version:          1.1.7
  GitCommit:        v1.1.7-0-g860f061
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0

• docker engine版本号 24.0.2
• 系统是linux
• 硬件架构是arm64

查看信息

背景

采访了一位哈尔滨工业大学毕业的程序员，在上海工作三年，与两位合伙人一起创业做了一个长达十年的项目，有着十几个人的公司，年收入300~400万，相对来说算成功。

采访

你觉得你处在这个年龄层的程序员里面算什么水平？

中等吧，顶多能算中等。

首先安装Docker for Mac

Enable Kubernetes

设置里打开Kubernetes，下载会持续一段时间：

验证

1
2
3
4
5
6
7
8
9
10

~  kubectl get nodes
NAME             STATUS   ROLES           AGE   VERSION
docker-desktop   Ready    control-plane   46h   v1.27.2

~  kubectl get ns
NAME              STATUS   AGE
default           Active   46h
kube-node-lease   Active   46h
kube-public       Active   46h
kube-system       Active   46h

安装 Docker for Mac

访问https://docs.docker.com/desktop/install/mac-install/

下载.dmg文件后，拖拽到应用文件夹里即可。

安装成功

命令行输入

brew安装

1

brew install redis

问题

Could not connect to Redis at 127.0.0.1:6379: Connection refused

1
2

redis-cli
Could not connect to Redis at 127.0.0.1:6379: Connection refused not connected>

brew命令安装

1
2

brew install mysql
mysql --version

问题

The server quit without updating PID file (/opt/homebrew/var/mysql/neozhangdeMacBook-Pro.local.pid)

1
2
3
4
5

sudo mysql.server start
Password:
Starting MySQL
.Logging to '/opt/homebrew/var/mysql/neozhangdeMacBook-Pro.local.err'.
ERROR! The server quit without updating PID file (/opt/homebrew/var/mysql/neozhangdeMacBook-Pro.local.pid).

7月，终于下定决心给自己买一台MacBook Pro，购买的原因如下：

• 之前笔记本电脑是装的Ubuntu 20.04 + Mac皮肤，编码没问题，但有时需要微信、Office办公套件的时候，会很麻烦，各种中转；
• Mac一直想买，但也一直下不定决心，有的人买来很实在，有的人买来是为了装逼 hhh；
• 尝试做自媒体剪一些视频；
• 苹果软件生态丰富…

于是乎，开始看各种测评，官网看报价，最终决定上一款 M1 Max + 64G + 2T的配置，当然保险起见买了AC+。

上手3天，觉得MacOS做的还是很细心的，运行软件基本都是秒开，硬件方面给我最大的感触就是屏幕+音响效果，非常棒，看视频有一种在电影院的感觉呢。

软件的话我全部选择了JetBrains系列。

整体介绍

crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK，自动进行表单填充并提交，配合智能的JS事件触发，
尽可能的收集网站暴露出的入口。内置URL去重模块，过滤掉了大量伪静态URL，对于大型网站仍保持较快的解析与抓取速度，最后得到高质量的请求结果集合。

crawlergo目前支持以下特性：

• 原生浏览器环境，协程池调度任务
• 表单智能填充、自动化提交
• 完整DOM事件收集，自动化触发
• 智能URL去重，去掉大部分的重复请求
• 全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz
• 支持Host绑定，自动添加Referer
• 支持请求代理，支持爬虫结果主动推送

项目整体结构：

Scrapy VS requests+beautifulsoup

• 1.requests和beautifulsoup都是库，scrapy是框架
• 2.scrapy框架中可以加入requests和beautifulsoup
• 3.scrapy基于twisted，性能是最大的优势
• 4.scrapy方便拓展，提供了很多内置的功能
• 5.scrapy内置的css和xpath selector非常方便，beautifulsoup最大的缺点就是慢

爬虫能做什么

• 1.搜索引擎：百度、Google
• 2.推荐引擎：今日头条
• 3.机器学习的数据样本
• 4.数据分析、舆情分析等