पुडुचेरी का इतिहास प्राचीन हिंद महासागर व्यापार तक जाता है। शहर से कुछ किलोमीटर दक्षिण में अरिकमेडु में पुरातत्वविदों को एक व्यस्त व्यापारिक बंदरगाह के अवशेष मिले हैं, जो लगभग दूसरी शताब्दी ईसा पूर्व से पहली शताब्दी ईस्वी तक फला-फूला। रोमन मिट्टी के बर्तन, शराब के मटके और काँच जैसी खोजें, स्थानीय रूप से बने मनकों और वस्त्रों के साथ, दिखाती हैं कि यह स्थल भूमध्यसागरीय दुनिया के साथ व्यापार करता था। यह क्षेत्र प्रारंभिक संगम साहित्य में वर्णित तमिल प्रदेश का भी हिस्सा था, और यह इलाका वैदिक विद्या के स्थान के रूप में जाना जाता था।
अगली सदियों में यह क्षेत्र दक्षिण भारत की कई बड़ी शक्तियों के अधीन रहा। कांचीपुरम के पल्लवों, चोलों और पांड्यों ने अलग-अलग समय पर यहाँ शासन किया, और इन दौरों के शिलालेख और मंदिर इस प्रदेश में और इसके आसपास आज भी मौजूद हैं। बाद में यह क्षेत्र विजयनगर साम्राज्य का हिस्सा बना और फिर कई क्षेत्रीय शासकों के अधीन आया। वरदराज पेरुमाल मंदिर और विल्लियनूर तथा बाहूर के मंदिर जैसे पुराने देवालय इस लंबी तमिल विरासत को दर्शाते हैं।
17वीं शताब्दी में यूरोपीय व्यापारी आए। फ़्रांसीसी ईस्ट इंडिया कंपनी ने 1674 में पांडिचेरी में एक व्यापारिक कोठी स्थापित की, और फ़्रांस्वा मार्टिन के नेतृत्व में यह भारत में मुख्य फ़्रांसीसी बस्ती बन गई। 1693 में डचों ने शहर पर कब्ज़ा कर लिया, लेकिन कुछ साल बाद इसे लौटा दिया। 18वीं शताब्दी में फ़्रांसीसियों ने मालाबार तट पर माहे, आंध्र तट पर यनम और तमिल तट पर कराईकल भी हासिल किए। 18वीं शताब्दी के मध्य में गवर्नर जोसेफ़ फ़्रांस्वा डुप्ले के समय पांडिचेरी अंग्रेज़ों के साथ कर्नाटक युद्धों के दौरान दक्षिण भारत में फ़्रांसीसी महत्वाकांक्षाओं का आधार बना। 1761 में अंग्रेज़ों ने शहर पर कब्ज़ा करके इसका बड़ा हिस्सा नष्ट कर दिया, और 1816 में अंततः फ़्रांस को लौटाए जाने से पहले यह कई बार एक हाथ से दूसरे हाथ में गया।
फ़्रांसीसी शासन ने शहर की विशिष्ट बनावट को आकार दिया, जिसमें गलियों का एक व्यवस्थित ग्रिड है और एक नहर फ़्रांसीसी इलाके, जिसे अब व्हाइट टाउन कहा जाता है, को तमिल इलाके से अलग करती है। पर्यटक समुद्र किनारे के प्रोमेनेड पर टहल सकते हैं, भारती पार्क में आई मंडपम देख सकते हैं, और बेसिलिका ऑफ़ द सेक्रेड हार्ट और नोट्रे डेम डेस एंजेस जैसे गिरजाघरों के साथ-साथ मनकुला विनायगर मंदिर भी जा सकते हैं। फ़्रांसीसी क्षेत्र होने के कारण पांडिचेरी ब्रिटिश अधिकारियों से बचकर भाग रहे भारतीय राष्ट्रवादियों का शरणस्थल बन गया। तमिल कवि सुब्रमण्य भारती लगभग एक दशक तक यहाँ रहे, और श्री अरविंद 1910 में यहाँ आए। 1926 में स्थापित श्री अरविंद आश्रम और 1968 में स्थापित पास का अंतरराष्ट्रीय नगर ऑरोविल आज भी दुनिया भर से पर्यटकों को आकर्षित करते हैं।
भारत की आज़ादी के बाद फ़्रांसीसी बस्तियों के भारत में शामिल होने के लिए एक आंदोलन खड़ा हुआ। बंगाल के चंदननगर ने 1949 में इसके पक्ष में मतदान किया। 1954 में निर्वाचित प्रतिनिधियों के मतदान के बाद पांडिचेरी, कराईकल, माहे और यनम के फ़्रांसीसी क्षेत्र 1 नवंबर 1954 को भारतीय प्रशासन को सौंप दिए गए। 1956 में हस्तांतरण संधि पर हस्ताक्षर हुए, और 1962 में यह हस्तांतरण औपचारिक रूप से क़ानूनी रूप से प्रभावी हुआ।
1963 में यह प्रदेश अपनी निर्वाचित विधानसभा वाला केंद्र शासित प्रदेश बना। यह इस मायने में असामान्य है कि यह तीन राज्यों में फैले चार अलग-अलग क्षेत्रों से बना है: तमिलनाडु के भीतर पुडुचेरी और कराईकल, केरल में माहे और आंध्र प्रदेश में यनम। 2006 में शहर और प्रदेश दोनों का आधिकारिक नाम पांडिचेरी से बदलकर पुडुचेरी कर दिया गया, जो आज भी राजधानी है।