標準愚痴出力

個人的なIT作業ログです。もしかしたら一般的に参考になることが書いているかもしれません(弱気

テキストファイルの行処理のイディオム

テキストファイルなどを扱う時:

  • データ読み取り時にエラーが発生した時はただちに終わる
  • ただし、そのエラーが EOF の場合は、有効データがある可能性があるため、それを処理してから終わる

という定番処理がある。

これを素直に実装すると次のようになる。 ( 読み取り処理は fetch, 加工処理は work という関数で表現 )

for {
    data, err := fetch()
    if err != nil && !errors.Is(err, io.EOF) {
        return err
    }
    work(data)
    if errors.Is(err, io.EOF) {
        break
    }
}

これ、errors.Is 関数を二回呼んでいるので、コストがかかる。この無駄の削減 兼 定型処理のパターン化のため、次のようなヘルパー関数を書いてみた。

func fetchAndWork[T any](fetch func() (T, error), work func(T)) error {
    for {
        val, err := fetch()
        if err != nil {
            if errors.Is(err, io.EOF) {
                work(val)
                return nil
            }
            return err
        }
        work(val)
    }
}

なんとなくだが、よさそう。

これ、本当は csvi での処理の最適化のために考えたたのだけれども、csvi ではデータ読み取りと処理を別の goroutine で行い、値やエラーは channel 経由で受け渡しているので、残念ながら使えそうもない。

なので、ここで供養することにした。