不会飞的章鱼

熟能生巧，勤能补拙，静能生慧；念念不忘，必有回响。

发表于 更新于 分类于
本文字数： 3k 阅读时长 ≈ 3 分钟

熟悉Docker的使用

查看版本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
$ docker version
Client:
 Cloud integration: v1.0.35
 Version:           24.0.2
 API version:       1.43
 Go version:        go1.20.4
 Git commit:        cb74dfc
 Built:             Thu May 25 21:51:16 2023
 OS/Arch:           darwin/arm64
 Context:           desktop-linux

Server: Docker Desktop 4.21.1 (114176)
 Engine:
  Version:          24.0.2
  API version:      1.43 (minimum version 1.12)
  Go version:       go1.20.4
  Git commit:       659604f
  Built:            Thu May 25 21:50:59 2023
  OS/Arch:          linux/arm64
  Experimental:     false
 containerd:
  Version:          1.6.21
  GitCommit:        3dce8eb055cbb6872793272b4f20ed16117344f8
 runc:
  Version:          1.1.7
  GitCommit:        v1.1.7-0-g860f061
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0
  • docker engine版本号 24.0.2
  • 系统是linux
  • 硬件架构是arm64

查看信息

阅读全文 »

发表于 分类于
本文字数： 676 阅读时长 ≈ 1 分钟

背景

采访了一位哈尔滨工业大学毕业的程序员，在上海工作三年，与两位合伙人一起创业做了一个长达十年的项目，有着十几个人的公司，年收入300~400万，相对来说算成功。

采访

你觉得你处在这个年龄层的程序员里面算什么水平？

中等吧，顶多能算中等。

阅读全文 »

发表于 更新于 分类于
本文字数： 301 阅读时长 ≈ 1 分钟

首先安装Docker for Mac

Enable Kubernetes

设置里打开Kubernetes，下载会持续一段时间：

验证

1
2
3
4
5
6
7
8
9
10
~  kubectl get nodes
NAME             STATUS   ROLES           AGE   VERSION
docker-desktop   Ready    control-plane   46h   v1.27.2

~  kubectl get ns
NAME              STATUS   AGE
default           Active   46h
kube-node-lease   Active   46h
kube-public       Active   46h
kube-system       Active   46h
阅读全文 »

发表于 更新于 分类于
本文字数： 297 阅读时长 ≈ 1 分钟

brew安装

1
brew install redis

问题

Could not connect to Redis at 127.0.0.1:6379: Connection refused

1
2
redis-cli
Could not connect to Redis at 127.0.0.1:6379: Connection refused not connected>
阅读全文 »

发表于 分类于
本文字数： 450 阅读时长 ≈ 1 分钟

brew命令安装

1
2
brew install mysql
mysql --version

问题

The server quit without updating PID file (/opt/homebrew/var/mysql/neozhangdeMacBook-Pro.local.pid)

1
2
3
4
5
sudo mysql.server start
Password:
Starting MySQL
.Logging to '/opt/homebrew/var/mysql/neozhangdeMacBook-Pro.local.err'.
ERROR! The server quit without updating PID file (/opt/homebrew/var/mysql/neozhangdeMacBook-Pro.local.pid).
阅读全文 »

发表于 分类于
本文字数： 337 阅读时长 ≈ 1 分钟

7月，终于下定决心给自己买一台MacBook Pro，购买的原因如下：

  • 之前笔记本电脑是装的Ubuntu 20.04 + Mac皮肤，编码没问题，但有时需要微信、Office办公套件的时候，会很麻烦，各种中转；
  • Mac一直想买，但也一直下不定决心，有的人买来很实在，有的人买来是为了装逼 hhh；
  • 尝试做自媒体剪一些视频；
  • 苹果软件生态丰富…

于是乎，开始看各种测评，官网看报价，最终决定上一款 M1 Max + 64G + 2T的配置，当然保险起见买了AC+。

上手3天，觉得MacOS做的还是很细心的，运行软件基本都是秒开，硬件方面给我最大的感触就是屏幕+音响效果，非常棒，看视频有一种在电影院的感觉呢。

软件的话我全部选择了JetBrains系列。

阅读全文 »

发表于 更新于 分类于
本文字数： 5.8k 阅读时长 ≈ 5 分钟

整体介绍

crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK，自动进行表单填充并提交，配合智能的JS事件触发，
尽可能的收集网站暴露出的入口。内置URL去重模块，过滤掉了大量伪静态URL，对于大型网站仍保持较快的解析与抓取速度，最后得到高质量的请求结果集合。

crawlergo目前支持以下特性：

  • 原生浏览器环境，协程池调度任务
  • 表单智能填充、自动化提交
  • 完整DOM事件收集，自动化触发
  • 智能URL去重，去掉大部分的重复请求
  • 全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz
  • 支持Host绑定，自动添加Referer
  • 支持请求代理，支持爬虫结果主动推送

项目整体结构：

阅读全文 »

发表于 更新于 分类于
本文字数： 263 阅读时长 ≈ 1 分钟

Scrapy VS requests+beautifulsoup

  • 1.requests和beautifulsoup都是库，scrapy是框架
  • 2.scrapy框架中可以加入requests和beautifulsoup
  • 3.scrapy基于twisted，性能是最大的优势
  • 4.scrapy方便拓展，提供了很多内置的功能
  • 5.scrapy内置的css和xpath selector非常方便，beautifulsoup最大的缺点就是慢

爬虫能做什么

  • 1.搜索引擎：百度、Google
  • 2.推荐引擎：今日头条
  • 3.机器学习的数据样本
  • 4.数据分析、舆情分析等

发表于 更新于 分类于
本文字数： 329 阅读时长 ≈ 1 分钟

go-micro v3和micro v3是什么关系？

go-micro是什么？

  • 一个go微服务开放框架
  • Framework（程序开放框架）：用来方便编写微服务
  • Clients（多语言客户端）：支持多语言访问服务端

go-micro v3与micro v3的关系

  • micro v3版本类似isito把基础设施抽象成能力
  • micro的技术体系和官方平台绑定较多
  • go-micro v3为微服务开发框架，自由度相对较高
阅读全文 »