linux文件读写

Linux 文件内容修改艺术：精准操控文本的终极指南

引言：为什么需要专门的文件修改命令？

想象你正在配置一台服务器，需要：

• 在配置文件中插入多行复杂的配置内容
• 批量修改成百上千个文件中的特定字符串
• 在脚本中动态生成配置文件内容
• 精确替换文本而不启动大型编辑器

这时候，传统的文本编辑器显得笨重而低效。Linux 提供了一系列精准的文件内容修改工具，让你能够像外科手术一样精确地操作文本文件。

这些工具不仅仅是”编辑”文件，更是自动化、批量化、精准化处理文本的利器。掌握它们，你将能够在命令行中完成各种复杂的文本处理任务。

---

一、Here Document：多行内容输入的优雅方式

1.1 基础语法：EOF 的魔法

Here Document（通常称为 “heredoc”）允许你在脚本中直接嵌入多行文本内容，就像在文件中写入一样。

# 基本语法
命令 << 分隔符
多行内容
...
分隔符

最经典的例子：使用 cat 创建文件

cat > config.txt << EOF
server {
    listen 80;
    server_name example.com;
    root /var/www/html;
    
    location / {
        index index.html;
    }
}
EOF

1.2 高级用法：变量扩展和格式控制

#!/bin/bash

# 定义变量
DOMAIN="example.com"
PORT="443"
DOCROOT="/var/www/html"

# 使用变量扩展
cat > nginx.conf << EOF
server {
    listen ${PORT};
    server_name ${DOMAIN};
    root ${DOCROOT};
    
    ssl_certificate /etc/ssl/certs/${DOMAIN}.crt;
    ssl_certificate_key /etc/ssl/private/${DOMAIN}.key;
}
EOF

# 禁止变量扩展（原样输出）
cat > template.txt << 'EOF'
变量不会被扩展：$DOMAIN $PORT
所有内容都会保持原样
EOF

# 去除前导制表符（<<-）
cat > script.sh <<- EOF
    #!/bin/bash
    echo "This line won't have leading tabs"
    echo "Neither will this one"
EOF

1.3 实战应用：动态生成配置文件

#!/bin/bash

# 生成 Dockerfile
cat > Dockerfile << EOF
FROM ubuntu:20.04

RUN apt-get update && \\
    apt-get install -y nginx && \\
    rm -rf /var/lib/apt/lists/*

COPY nginx.conf /etc/nginx/nginx.conf
EXPOSE 80

CMD ["nginx", "-g", "daemon off;"]
EOF

# 生成数据库初始化脚本
cat > init_db.sql << 'SQL_EOF'
CREATE DATABASE IF NOT EXISTS app_db;
USE app_db;

CREATE TABLE users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    username VARCHAR(50) NOT NULL,
    email VARCHAR(100) NOT NULL,
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

INSERT INTO users (username, email) VALUES
('admin', 'admin@example.com'),
('user1', 'user1@example.com');
SQL_EOF

---

二、Here String：单行内容的快捷方式

Here String（<<<）是 Here Document 的单行简化版本，非常适合传递单行内容。

# 基本语法
命令 <<< "字符串内容"

# 示例：快速传递内容给命令
grep "error" <<< "This line contains an error message"

# 使用变量
message="Hello World"
wc -w <<< "$message"  # 统计单词数

# 多命令处理
tr 'a-z' 'A-Z' <<< "hello world" | sed 's/O/0/g'

---

三、sed 原地编辑：批量修改的终极武器

3.1 基础原地编辑

sed -i 选项允许直接修改文件内容，而不是输出到标准输出。

# 基本语法
sed -i 's/原字符串/新字符串/' 文件名

# 示例：将文件中的所有"foo"替换为"bar"
sed -i 's/foo/bar/g' filename.txt

# 备份原文件后再修改
sed -i.bak 's/foo/bar/g' filename.txt  # 生成filename.txt.bak备份

# 只替换匹配行中的第N个出现
sed -i 's/foo/bar/2' filename.txt  # 只替换每行中第二个foo

3.2 高级模式匹配和操作

#!/bin/bash

# 1. 只在特定行中替换
sed -i '5,10s/old/new/g' file.txt      # 只替换5-10行
sed -i '/pattern/s/old/new/g' file.txt # 只替换包含pattern的行

# 2. 删除匹配行
sed -i '/debug/d' config.txt           # 删除所有包含debug的行
sed -i '5,10d' file.txt                # 删除5-10行

# 3. 插入和追加文本
sed -i '3i\插入的内容' file.txt        # 在第3行前插入
sed -i '5a\追加的内容' file.txt        # 在第5行后追加

# 4. 多重操作
sed -i -e 's/foo/bar/g' -e '/test/d' file.txt

# 5. 使用不同的分隔符（处理包含斜杠的内容）
sed -i 's|/old/path|/new/path|g' config.txt

3.3 实战案例：批量配置文件修改

#!/bin/bash

# 批量修改所有HTML文件中的旧域名到新域名
find /var/www/html -name "*.html" -exec sed -i 's/old-domain.com/new-domain.com/g' {} \;

# 修改Apache配置：注释掉所有EnableSendfile指令
sed -i 's/^EnableSendfile/#EnableSendfile/' /etc/httpd/conf/httpd.conf

# 批量给Python文件添加UTF-8编码声明
find . -name "*.py" -exec sed -i '1i# -*- coding: utf-8 -*-' {} \;

# 清理日志文件：删除所有空行和注释行
sed -i -e '/^$/d' -e '/^#/d' application.log

---

四、ed 和 ex：更古老的流编辑器

虽然 sed 更流行，但 ed 和 ex 在某些场景下更有优势。

# 使用ed进行复杂编辑
echo -e "1,5p\ns/old/new/g\nw\nq" | ed filename.txt

# 使用ex（vim的前身）进行编辑
ex -sc '%s/old/new/g|x' config.txt

---

五、awk 的文件修改能力

虽然 awk 主要用于文本处理，但结合重定向也能实现文件修改。

# 使用awk处理并替换原文件
awk '{gsub("old", "new"); print}' file.txt > tmp.txt && mv tmp.txt file.txt

# 更安全的做法（保留权限和属性）
awk '{gsub("old", "new"); print}' file.txt > tmp.txt && 
cat tmp.txt > file.txt && 
rm tmp.txt

# 复杂的awk处理示例
awk '
BEGIN {OFS="\t"} 
$3 > 100 {$4 = "HIGH"} 
$3 <= 100 {$4 = "LOW"} 
{print}
' data.txt > tmp.txt && mv tmp.txt data.txt

---

六、实战综合案例

6.1 案例一：自动化服务器配置

#!/bin/bash

# 生成SSH配置
cat >> /etc/ssh/sshd_config << 'SSH_EOF'

# 自定义配置
Port 2222
PermitRootLogin no
MaxAuthTries 3
ClientAliveInterval 300
ClientAliveCountMax 2

# 允许的用户
AllowUsers admin deployer
SSH_EOF

# 更新系统配置
sed -i -e 's/^#PasswordAuthentication yes/PasswordAuthentication no/' \
       -e 's/^X11Forwarding yes/X11Forwarding no/' \
       /etc/ssh/sshd_config

# 重启服务
systemctl restart sshd

6.2 案例二：动态生成应用部署脚本

#!/bin/bash

read -p "Enter project name: " PROJECT_NAME
read -p "Enter domain name: " DOMAIN
read -p "Enter PHP version (7.4/8.0/8.1): " PHP_VERSION

# 生成Nginx配置
cat > /etc/nginx/sites-available/${PROJECT_NAME} << NGINX_EOF
server {
    listen 80;
    server_name ${DOMAIN} www.${DOMAIN};
    root /var/www/${PROJECT_NAME}/public;
    index index.php index.html index.htm;

    location / {
        try_files \$uri \$uri/ /index.php?\$query_string;
    }

    location ~ \.php\$ {
        include snippets/fastcgi-php.conf;
        fastcgi_pass unix:/var/run/php/php${PHP_VERSION}-fpm.sock;
    }

    location ~ /\.ht {
        deny all;
    }
}
NGINX_EOF

# 启用站点
ln -sf /etc/nginx/sites-available/${PROJECT_NAME} /etc/nginx/sites-enabled/
nginx -t && systemctl reload nginx

6.3 案例三：批量日志文件处理

#!/bin/bash

# 处理目录中的所有日志文件
LOG_DIR="/var/log/app"
BACKUP_DIR="${LOG_DIR}/backup/$(date +%Y%m%d)"

mkdir -p "${BACKUP_DIR}"

find "${LOG_DIR}" -name "*.log" -mtime +7 | while read logfile; do
    echo "Processing: ${logfile}"
    
    # 备份原文件
    cp "${logfile}" "${BACKUP_DIR}/"
    
    # 清理日志：移除DEBUG行、压缩空格、添加时间戳
    sed -i -e '/DEBUG/d' \
           -e 's/[[:space:]]\+/ /g' \
           -e "s/^/$(date '+%Y-%m-%d %H:%M:%S') /" \
           "${logfile}"
    
    # 限制文件大小（保留最后1000行）
    tail -n 1000 "${logfile}" > "${logfile}.tmp"
    mv "${logfile}.tmp" "${logfile}"
done

echo "Log processing completed. Backups stored in: ${BACKUP_DIR}"

---

七、最佳实践与避坑指南

7.1 安全第一：备份和验证

# 总是先备份！
cp important.conf important.conf.backup.$(date +%Y%m%d)

# 或者使用sed的备份功能
sed -i.backup 's/old/new/g' important.conf

# 测试命令效果后再应用
sed 's/old/new/g' file.txt | head -n 5  # 先查看前5行的效果

# 使用干运行模式（如果有的话）
some_command --dry-run config_file

7.2 处理特殊字符

# 处理包含斜杠的内容
sed -i 's|/old/path|/new/path|g' file.txt

# 处理包含分隔符的内容
sed -i 's#http://old.site#https://new.site#g' file.txt

# 使用不同的引号
sed -i "s/OLD_HOST/${NEW_HOST}/g" config.txt

# 转义特殊字符
sed -i 's/\[/\\[/g' file.txt  # 转义方括号

7.3 性能优化

# 批量处理时使用find + exec比循环更高效
find . -name "*.txt" -exec sed -i 's/old/new/g' {} +

# 对于大量文件，使用parallel并行处理
find . -name "*.log" | parallel sed -i 's/old/new/g' {}

# 减少不必要的备份（处理大量文件时）
find . -name "*.config" -exec sed -i '' 's/old/new/g' {} +  # BSD sed不需要备份参数

---

总结：选择正确的工具

场景	推荐工具	示例
插入多行内容	cat << EOF	生成配置文件、脚本模板
简单替换	sed -i 's/old/new/'	批量替换字符串
复杂编辑	sed -i -e 'cmd1' -e 'cmd2'	多重编辑操作
条件编辑	sed -i '/pattern/s/old/new/'	只在匹配行替换
模式处理	awk + 重定向	基于条件的复杂处理
安全编辑	sed -i.backup	需要备份的编辑操作

记住这些黄金法则：

1. 测试在先：总是先在不修改原文件的情况下测试命令
2. 备份为重：重要文件编辑前必须备份
3. 选择合适工具：根据任务复杂度选择合适的工具
4. 日志记录：记录执行的修改操作，便于追溯和回滚

通过掌握这些文件内容修改技巧，你将能够在Linux系统中游刃有余地处理各种文本编辑任务，从简单的字符串替换到复杂的多文件批量处理，都能轻松应对。