ChatGPTでタスクを実行する際に、バッチAPIが失敗した時に通常APIで再試行することで、実行費用を抑えつつ、タスク失敗時の再試行による安定性の確保を達成するという話。バッチAPI化による費用変化の計算もした。

AIに英語の構文解析をさせる際に、文型だけではなく動詞の各種属性を判別させることで、読解補助のヒントとして価値を高めたという話。長大なインストラクションを伴うタスクを各文毎に実行するとコストが嵩むので、適当なサイズのバッチにまとめて処理する…

ChatGPTには、ステートレスのcompletions APIと、ステートフルのassistant APIがあるが、後者は正直言って使えないという話。また、ステートフルにして過去のタスク履歴を入力しつつ各タスクを実行したとしても、翻訳精度は必ずしも上がらないという話。