慶長15年（1610）この地に阿部家が屋敷を構えた時から、ここには大きな椎の木があった。追分の一里塚と共に奥州街道を行く旅人の目印となっていたようで、昔は水道橋方面からも見えていたという。明治24年（1891）、阿部伯爵家が本邸を新築したとき、新御殿の表門前に聳える大椎の木を中心とした広場ができ、やがてここは「大椎の木の広場」とよばれるようになった。
椎の木は大正4年に史蹟名勝天然記念物に指定され、「大椎樹」の石碑が建立された（現存）。昭和5年（1930）、阿部家15代当主正直氏はこの広場を児童遊園として整備し、「阿部公園」が誕生、子どもたちは「阿部さま公園」と呼んで大事に遊んでいたという。昭和15年（1940）には、阿部邸内にあった椎の木を「世継ぎの椎」として公園に移植した。（現存）
第二次大戦前後、公園の土地の一部には本郷消防署の出張所や署員家族寮があった。昭和33年（1958）、椎の木の衰弱が進んだため根元を2ｍ弱残して伐採。昭和43年（1968）に阿部公園は文京区立「西片児童遊園」となった。昭和63年（1988）、区が公園の改良工事を行った際に椎の木は完全に伐採され、その跡に椎の木と公園の由来を記した銅版の記念碑が設置された（現存）。この時に桜の若木が植えられたが、桜の木は見事に育ち、大きく広げた枝に毎年美しい花を咲かせる。平成3年（1991）には文京区立「西片公園」と改称され、都市公園に指定された。現在公園は子どもたちの遊び場であり、緑豊かな憩いの場であると同時に、西片町会の防災拠点として防災倉庫が置かれ、防災訓練も行われている。西片まつり、西片さくらまつりなども公園で行われる町会の年中行事である。