次の式を因数分解します。
$$x³y-xy³-x²+y²+2xy-1$$
共通因数があれば、それを利用して(かっこ)でくくるのが王道中の王道です。
なにしろ大ざっぱにとらえると、因数分解って「足し算の式を掛け算の式に書き直す」ことですから。分配法則（の逆）を利用して掛け算にしてしまうのが一番楽でしょう。
ただ、この問題は共通因数が拾えません。
そのようなときは、展開の乗法公式の逆を思い出して操作してみましょう。
と、進めていくのが中学で習う因数分解の手法ですね。
高校生になると、次数の一番低い文字について整頓してみて・・と、手法の掘り下げが進みます。ですが・・・
本問に関しては、どうもそれで解決しそうにありません。
では、こんなことを試してみましょう。
1.特定の値を代入してヒントを得る
■ x = 1のとき
$$y-y³-1+y²+2y-1$$
$$ =-(y³-y²-3y+2)$$
$$ =-(y-2)(y²+y-1)$$
■ x = 2のとき
$$8y-2y³-4+y²+4y-1$$
$$ =-(2y³-y²-12y+5)$$
$$ =-(2y-5)(y²+2y-1)$$
2.共通構造から因数を予想する
両方の結果に注目すると、
x = 1のとき、(y²+y-1)
x = 2のとき、(y²+2y-1)
となっており、いずれも
$$y²+xy-1$$
を因数に持つのではないかと「期待できます」。
期待できれば充分です。
これが本当に因数なのかは、与式を\(y²+xy-1\)で割ってみればよいのです。
実際のところ・・
$$x³y-xy³-x²+y²+2xy-1$$
$$=(x²-xy+1)(y²+xy-1)$$
と、見事に割り切れます。
・・と言いますか、因数分解が完了しました。
「えっ！？ こんなやり方ってアリなの？」
という声が聞こえてきそうです。
「アリ」です。
ちゃんと掛け算の式になっています。元の式に戻すこともできます。
共通因数や乗法公式の利用などは、因数分解という作業を「効率的」に行う手法だと言えます。「効率的」ではありますが、それしか方法がないというわけでもありません。
因数分解を「足し算の式を掛け算に改めること」ととらえ、元の式を割り切ってくれる式を探すと考えれば、こんな解き方も可能なのでした。